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。 研 究 方法 (Research Method) ° 


探究 事件 相关 脑 电 / 脑 磁 信号 中 的 神经 表征 模式 : 
基于 分 类 解码 和 表征 相似 性 分 析 的 方法 
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摘 要 探究 不 同心 智 活动 下 的 神经 表征 差异 ,是 认 知 神经 科学 关注 的 核心 问题 之 一 。 早期 的 脑 电 / 脑 磁 分 析 
方法 主要 关注 组 平均 后 的 神经 响应 水 平 ， 这 要 求 在 关注 的 时 间 进 程 上 ,各 个 被 试 在 相同 刺激 条 件 下 事件 相关 
电位 /事件 相关 磁场 的 振幅 大 小 和 方向 、 以 及 地 形 图 分 布 和 极 性 均 要 有 较 高 的 一 致 性 。 近 些 年 来 , 研究 者 们 将 
功能 性 磁 共 振 成 像 研究 中 常用 到 的 两 种 技术 一 一 机 器 学 习 中 的 分 类 算法 ( 即 基于 分 类 的 解码 ) 和 表征 相似 性 分 
析 一 一 引入 到 了 上 脑 电 / 脑 磁 数 据 分 析 中 。 这 两 种 新 技术 可 以 克服 传统 脑 电 / 脑 磁 数据 基于 具体 电压 /磁感应 强度 
波形 平均 分 析 的 缺点 ， 具 有 在 个 体 水 平 上 探究 神经 表征 编码 的 特点 ， 为 人 们 探 完 大 脑 在 不 同时 间 进 程 上 如 何 
对 特定 的 神经 表征 信息 进行 动态 编码 提供 了 新 的 思路 。 两 种 技术 基于 不 同 的 方法 学 原理 来 抽 提 个 体 间 一 致 的 
脑 认 知 加 工 机 制 , 还 为 脑 电 / 脑 磁 研 究 开 展 跨 时 域 、 跨 任务 、 跨 模 态 、 跨 群体 比较 不 同 认 知 过 程 中 的 表征 差异 
提供 了 更 多 新 颖 的 途径 。 我 们 首先 通过 与 传统 的 脑 电 / 脑 磁 分 析 方 法 进行 比较 ,系统 性 介绍 了 基于 分 类 的 解码 
和 表征 相似 性 分 析 的 原理 和 操作 流程 ,之 后 对 两 种 方法 的 应 用 场景 进行 了 梳理 ， 并 在 最 后 对 未 来 可 供 研 究 的 
方向 提出 了 我 们 的 见解 。 

关键 词 。” 脑 电 / 脑 磁 ,神经 表征 ， 机 器 学 习 / 基 于 分 类 的 解码 ， 表 征 相似 性 分 析 


分 类 号 B841 
1 前 言 一 种 称 作 表 征 相 似 性 分 析 (representation similarity 


analysis, 简称 RSA) 的 方法 也 被 广泛 应 用 于 fMRI 
研究 中 ， 它 可 以 评估 不 同 神经 表征 之 间 的 相似 性 
KA, RABIES. BRA, BRAS 
(Kriegeskorte, Mur, & Bandettini, 2008)。 两 种 新 方 
法 的 引入 ,让 研究 者 在 大 脑 的 空间 结构 上 对 神经 
表征 信息 的 理解 更 加 深刻 。 

解码 分 析 与 RSA 近年 来 也 被 逐渐 用 于 脑 电 
(electroencephalography, 简称 EEG) 和 脑 磁 
(magnetoencephalography， 简 称 MEG) 数 据 分 析 中 
(Carlson et al., 2011, 2013; Cichy et al., 2014, 2016; 
Cichy, Pantazis, & Oliva, 2016; Cichy, Kriegeskorte, 
et al., 2017; Cichy, Khosla, et al., 2017; Wardle et 
al., 2016; Teichmann et al., 2018; Dobs et al., 2019; 


得 益 于 计算 机 硬件 和 算法 的 发 展 ， 越 来 越 多 
行 之 有 效 的 技术 方法 被 用 于 神经 影像 数据 分 析 。 
自 机 融 学 习 中 的 分 类 算法 ( 即 基 于 分 类 的 解码 ， 
classification-based decoding， 简 称 解码 分 析 ) 开 创 
性 地 引入 到 功能 性 磁 共 振 成 像 (functional magnetic 
resonance imaging， 简称 fMRD 数 据 分 析 之 中 ， 人 
们 能 够 更 好 地 识别 与 分 类 特定 大 脑 认 知 加 工 活动 
对 应 的 神经 表征 (Cox & Savoy, 2003; Kamitani & 
Tong, 2005; Norman et al., 2006)。 除了 解码 分 析 外 ， 
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多 关注 的 是 大 脑 空间 结构 上 的 认 知 加 工 机 制 ; 与 
fMRI 不 同 的 是 ， EEG/MEG 高 时 间 分 辨 率 的 特点 
使 得 相应 的 研究 更 适合 从 时 间 进 程 上 探索 大 脑 的 
认 知 加 工 机 制 。 将 解码 分 析 与 RSA 引入 EEG/MEG 
研究 中 ， 既 可 以 在 一 定 程 度 上 克服 传统 EEG/MEG 
数据 分 析 中 存在 的 不 足 ， 还 能 够 从 不 同 的 角度 去 
解释 大 脑 对 神经 表征 信息 的 动态 编码 情况 。 

本 文 将 从 解码 分 析 和 RSA 这 两 种 新 方法 与 传 
统 EEG/MEG 分 析 的 对 比 展开 介绍 , 简要 阐明 两 
种 新 方法 的 基本 原理 与 优势 ; 之 后 将 对 上 述 方法 
FY) AAS SE BE AT AR, 并 通过 梳理 前 人 采用 解码 
分 析 和 RSA 开展 的 EEG/MEG 研究 ,讨论 两 种 技 
术 在 认 知 神经 科学 领域 的 实际 应 用 场景 ; 对 于 这 
两 种 技术 在 未 来 的 EEG/MEG 研究 中 可 能 的 应 用 
方向 , 在 文 末 提 出 了 一 些 我 们 的 见解 。 


2 原理 总 论 


随 着 认 知 神经 科学 研究 的 不 断 深 入 ,传统 的 
EEG 和 MEG 分 析 方 法 已 无 法 满足 研究 人 员 的 全 
部 需求 ， 人 们 需要 寻找 更 加 精细 的 方法 来 识别 与 
分 析 大 脑 活 动 模式 。EEG 和 MEG 由 于 高 时 间 分 
辨 率 、 非 侵入 式 等 特点 被 广泛 应 用 于 各 类 大 脑 认 
知 加 工 的 研究 ， 并 形成 了 一 套 成 熟 的 数据 处 理 流 


程 。 现 有 的 事件 相关 EEG/MEG 研究 需要 计算 每 
个 被 试 沈 加 平均 后 的 事件 相关 电位 (event-related 
potentials, 简称 ERPs) 或 事件 相关 磁场 (event-related 
magnetic fields, 简称 ERMFs), 并 在 此 基础 上 求 出 
不 同 条 件 之 间 的 差异 波 或 者 地 形 图 ， 之 后 再 进行 
群体 水 平 上 的 统计 分 析 。 根 据 不 同时 刻 点 的 ERPs/ 
ERMFs 特征 值 ， 可 以 随时 间 进 程 绘 制 振幅 和 地 形 
图 的 变化 情况 来 进行 神经 表征 时 空 模式 分 析 (Ding 
et al., 2014; Qu et al., 2014, 2017)。 但 不 论 是 迭 加 
平均 后 的 ERPs/ERMFs 还 是 经 过 计算 得 到 的 差异 波 
和 地 形 图 均 具有 极 性 , 为 了 尽 可 能 地 使 潜在 的 效 
应 更 加 明显 , 传统 的 EEG/MEG 研究 要 求 所 有 被 试 
在 研究 者 关注 的 时 间 进 程 上 , 诱发 出 的 ERPs/ERMFs 
振幅 大 小 和 方向 以 及 地 形 图 分 布 和 极 性 等 均 要 在 
不 同 被 试 之 间 具 有 较 高 的 一 致 性 , 在 一 致 性 较 差 
的 情况 下 对 不 同 被 试 的 神经 响应 水 平 进 行 平均 后 ， 
得 到 的 结果 可 能 难以 做 出 合理 的 解释 (图 1)。 

相 比 于 传统 的 EEG/MEG 分 析 方 法 ,解码 分 
析 和 RSA 并 不 需要 不 同 被 试 之 间 的 ERPs/ERMFs 
振幅 等 信息 具有 较 高 的 一 致 性 ,它们 更 多 地 要 求 
事件 相关 的 EEG/MEG 信号 在 每 个 被 试 内 部 具有 
较 高 的 一 致 性 ( 即 存在 相对 稳定 的 加 工 机制 )。 以 不 
同 的 刺激 类 型 为 例 ， 解 码 分 析 和 RSA 的 基本 假设 
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图 1 传统 ERP 研究 示例 。(A) 假 设 在 某 一 特定 通道 上 对 不 同 条 件 诱发 的 ERPs 成 分 进行 分 析 ， 能够 观测 到 不 同 的 被 


试 在 不 同 刺激 条 件 


NT 
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间 均 存在 明显 的 ERPs 差异 , 这 提示 了 两 种 刺激 可 能 具有 不 同 的 神经 表征 , 使 得 每 名 被 试 都 能 区 


分 这 两 种 刺激 。 由 于 受到 个 体 差异 的 影响 , 不 同 被 试 在 刺激 条 件 间 的 ERPs 差异 方向 可 能 是 不 一 致 的 ,， 这 将 导致 在 对 


所 有 被 试 的 数据 进行 组 平均 处 理 后 ， 可 能 会 使 得 研究 者 不 能 从 组 平均 ERPs 上 区 分 两 种 刺激 ， 从 而 做 出 两 种 刺激 具 
有 相似 神经 表征 的 错误 推论 。(B) 由 于 被 试 间 存在 着 个 体 差 异 , 假设 对 于 相同 的 刺激 条 件 , 在 某 一 时 刻下 不 同 的 被 试 
均 能 诱发 出 较为 明显 的 大 脑 活动 模式 , 但 在 不 同 的 通道 上 激活 水 平 的 极 性 不 同 ,可 能 使 得 不 同 被 试 的 地 形 图 映射 情 
况 差别 很 大 ， 导致 人 们 同样 可 能 对 所 有 被 试 进行 组 平均 后 得 到 的 结果 做 出 错误 的 解释 。 
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是 : 当 大 脑 对 特定 刺激 信息 进行 了 有 效 编码 时 都 
会 产生 对 应 的 活动 模式 ， 如 图 2A 所 示 ， 每 个 试 次 
记录 到 的 大 脑 活 动 模 式 可 以 投射 到 由 所 有 通道 
(记录 EEG 信号 的 电极 MEG 信号 的 磁力 计 和 平 
面 梯度 计 ) 共 同 构成 的 神经 表征 空间 中 (为 便于 展 
示 此 处 将 其 简化 为 三 个 通道 构成 的 三 维 空间 )， 并 
得 到 其 对 应 的 响应 向 量 ( 即 神经 表征 空间 中 的 点 )， 
该 响应 向 量 的 特征 坐标 由 各 个 通道 包含 的 幅 值 信 
息 转 换 而 来 (Haxby et al., 2014)。 每 种 类 型 的 刺激 
言 息 在 神经 表征 空间 中 的 分 布 是 不 同 的 ， 同 一 刺 
激 条 件 下 的 大 脑 活动 模式 将 被 投射 到 神经 表征 空 
间 中 的 某 个 特定 区 域 , 具体 表现 为 相同 类 型 的 刺 
激 信息 在 空间 分 布 上 更 加 集中 , 且 集 中 于 某 个 区 
域内 所 有 的 响应 向 量 都 表征 了 同一 类 信息 ， 例 如 
刺激 类 型 认 知 状态 等 (Cox & Savoy, 2003; Kamitani 


A @ 刺激 类 型 A 
@ 刺激 类 型 B 


通道 1 
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一 一 一 
一 
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& Tong, 2005; Grootswagers et al., 2017; Hebart & 
Baker, 2018; Carlson et al., 2019)。 而 当 大 脑 未 对 特 
定 刺激 信息 进行 编码 时 ， 如 图 2B 所 示 ， 其 对 应 的 
响应 向 量 在 神经 表征 空间 上 的 分 布 则 是 随机 不 可 
分 的 。 


当 在 被 试 内 部 不 同 刺激 条 件 对 应 的 神经 表征 
之 间 在 关注 的 时 间 进 程 上 存在 着 稳定 的 差异 (本 
文 称 之 为 绝对 差异 ) 时 ,解码 分 析 可 以 在 神经 表征 
空间 中 按照 一 定 的 规则 找到 一 个 能 将 不 同类 型 响 
应 向 量 分 离开 的 边界 ( 即 图 2C 中 所 示 的 决策 边界 ， 
decision boundary), 使 得 各 种 刺激 类 型 信息 所 对 
应 的 大 脑 活动 模式 可 以 最 优 地 区 分 开 ， 从 而 实现 
对 个 体 不 同 的 认 知 状态 进行 分 离 (Haxby et al., 
2014; Grootswagers et al., 2017; Kriegeskorte & 
Diedrichsen, 2019; Weaverdyck et al., 2020). ff 
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图 2 ”以 不 同 的 刺激 类 型 为 例 (A) 不 同 刺 激 信息 的 神经 表征 不 同 , 具体 在 神经 表征 空间 中 会 表现 出 同类 刺激 信息 相 


聚 、 异 类 刺激 信息 相 离 的 特点 。(B) 当 大 脑 未 对 特定 刺激 信息 进行 编码 的 情况 下 , 神经 表征 将 处 于 随机 不 可 分 的 状态 。 
(C) 解 码 分 析 可 以 使 用 决策 边界 对 不 同类 型 的 刺激 进行 区 分 。(D)RSA 通过 计算 不 同 刺 激 之 间 的 距离 来 说 明 它 们 之 间 


的 相似 程度 。 
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正确 率 是 衡量 决策 边界 区 分 绝对 差异 的 效果 的 指 
标 ， 如 果 得 到 的 解码 正确 率 越 高 ， 理 论 上 该 决策 
边界 就 越 能 够 区 分 不 同 的 认 知 状态 。 无 论 不 同 被 
试 诱发 出 的 ERPs/ERMEs 振幅 大 小 和 方向 、 地 形 
图 分 布 情况 是 否 一 致 ,我 们 都 可 以 借助 解码 分 析 
来 考察 每 名 被 试 区 分 不 同 刺 激 条 件 的 神经 表征 绝 
对 差异 (由 解码 正确 率 表示 ); 将 不 同 被 试 的 解码 
正确 率 进行 平均 和 统计 检验 分 析 ， 以 说 明 不 同 刺 
激 条 件 之 间 确 实 存 在 着 差异 (图 3)。 

不 同 于 解码 分 析 寻 找 能 够 最 优 分 离 各 种 类 型 
神经 表征 的 决策 边界 的 思路 ，RSA 致力 于 衡量 不 
同 神经 表征 之 间 的 差异 大 小 。 由 于 同一 类 别 的 信 
息 彼此 之 间 的 相似 程度 更 高 ,在 神经 表征 空间 中 
表现 为 对 应 的 响应 向 量 间 的 距离 更 近 , 不 同 刺激 
类 型 的 信息 则 由 于 相似 程度 低 而 表现 为 响应 向 量 


不 关心 脑 活 动 之 间 的 差异 体现 在 哪些 具体 测量 特 
征 值 上 (如 ERPs/ERMFs 振幅 大 小 和 方向 、 地 形 图 
分 布 情况 等 )。 对 于 一 组 刺激 而 言 ， 它们 的 具体 测 
量 特征 值 在 不 同 被 试 之 间 可 能 会 有 很 大 的 不 同 ， 
但 是 当 每 个 被 试 内 部 对 这 组 刺激 内 不 同 刺激 条 件 
的 加 工 存 在 着 稳定 的 规律 时 ， 那么 根据 不 同 被 试 
的 EEG/MEG 活动 计算 得 到 的 RDM (反映 了 刺激 
之 间 的 绝对 差异 程度 ) 有 可 能 是 相似 的 (如 图 4A 被 
试 1、 被 试 2 的 神经 RDM 所 示 )。 此 外 ,研究 者 还 
可 以 基于 研究 目的 对 不 同 来 源 和 形式 的 数据 进行 
量化 (如 图 4A 分 别 根据 行为 表现 和 类 别 属 性 构建 
的 行为 RDM、 概 念 RDM)， 并 与 根据 EEG/MEG 
数据 构建 的 逐 时 间 点 神经 RDMs 进行 比较 , 进而 
阐明 不 同类 型 的 数据 能 够 在 哪些 时 程 上 提供 一 致 
性 信息 ， 以 在 不 同 层 面 反映 刺激 条 件 之 间 的 差异 


间 的 距离 更 远 ， 所 以 RSA 可 以 根据 每 个 响应 向 量 
在 神经 表征 空间 内 的 特征 坐标 来 计算 响应 向 量 间 
的 成 对 距离 ， 使 得 不 同 刺 激 条 件 间 神经 表征 的 差 
异 情况 可 以 用 对 应 的 响应 向 量 间 距离 来 进行 衡量 
(图 2D, Kriegeskorte, Mur, & Bandettini, 2008; 
Kriegeskorte & Kievit, 2013; Haxby et al., 2014; 
Popal et al., 2019; Weaverdyck et al., 2020)。 这 种 根 
据 不 同 脑 活 动量 化 得 到 的 标准 化 差异 被 RSA 记录 
在 表征 差异 和 矩阵 (representational dissimilarity matrix, 
简称 RDM) 中 ， 它 反映 了 由 不 同 刺激 条 件 诱发 的 
大 脑 活动 模式 间 相 似 程度 。 当 不 同 刺激 条 件 的 神 
经 表征 之 间 存 在 差异 且 这 种 差异 稳定 存在 于 被 试 
内 部 时 ， 此 时 RSA 只 关心 在 个 体 水 平 上 不 同 刺激 
诱发 的 脑 活 动 是 否 有 差异 、 差 异 程度 有 多 大 ， 而 


(图 4B, Kriegeskorte, Mur, & Bandettini, 2008; 
Kriegeskorte & Kievit, 2013; Carlson et al., 2013; 
Cichy et al., 2014; Cichy, Kriegeskorte, et al., 2017; 
Redcay & Carlson, 2015; Grootswagers et al., 2019). 

在 ERPs/ERMFs 研究 中 ， 解 码 分 析 和 RSA 不 
仅 可 以 在 时 间 进 程 上 揭示 个 体 间 一 致 的 加 工 机 制 ， 
并 且 当 个 体 间 存在 显著 差异 、 但 是 个 体内 存在 稳 
定 的 加 工 机 制 时 ， 还 能 对 具体 的 神经 表征 模式 进 
行 探索 , 用 于 识别 个 体 的 “ 脑 指纹 ”将 这 两 种 方法 
引入 EEG/MEG 研究 ,可 以 弥补 传统 分 析 方 法 只 
关注 群体 水 平 ERPs/ERMFs 结果 的 不 足 ， 还 能 根 
据 每 个 被 试 独 有 的 大 脑 活动 模式 , 给 出 个 体 水 平 
上 的 统计 分 析 结 果 ，, 帮助 人 们 在 个 体 水 平 上 理解 
信息 编码 加 工 的 时 程 。 


被 试 1 被 试 2 平均 结果 
90 一 刺激 类 型 A vs 90 - 一 刺激 类 型 A vs 90 - 一 刺激 类 型 A vs 
刺激 类 型 B 刺激 类 型 B 刺激 类 型 B 
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振幅 极 性 和 地 形 分 布 等 具体 信息 ， 相 比 于 图 1A 的 情况 ， 
们 在 时 程 上 的 一 致 性 可 以 在 平均 结果 中 保留 。 


图 3 ”以 基于 时 域 ERP 信号 进行 的 解码 分 析 ( 可 以 对 特定 时 间 点 的 单个 通道 或 多 个 通道 数据 进行 解码 ) 为 例 , 在 每 个 
时 间 点 上 对 ERPs/ERMFs 数据 进行 解码 ， 能够 得 到 一 条 随 着 时 间 变 化 的 解码 正确 率 晶 线 ， 从 而 可 以 在 时 间 进 程 上 探 
究 神经 表征 信息 的 动态 编码 情况 。 由 于 解码 分 析 只 关注 


L J 
0 100 200 300 400 500 600 
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不 同 的 刺激 条 件 之 间 是 否 存在 着 差异 ， 而 不 关心 这 个 差异 的 
此 处 不 仅 保留 了 每 名 被 试 对 不 同 刺激 条 件 的 区 分 情况 ， 且 他 
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图 4 RSA 方法 示意 图 。(A) 根 据 不 同 个 体 的 神经 活动 、 行 为 表现 、 类 别 属性 等 来 对 不 同 刺 激 条 件 之 间 的 差异 进行 量 
化 , 得 到 的 不 相似 度 可 以 记录 在 RDM 中 (此 处 神经 RDM 的 数据 来 源 为 某 时 间 点 的 EEG 数据 ,不 相似 度 以 1- 相 似 度 
(刺激 M, 刺激 N) 来 计算 ; 行为 RDM 的 数据 来 源 为 行为 评分 , 不 相似 度 以 相对 距离 (刺激 M， 刺 激 N) 来 计算 ; 具体 
算法 以 及 其 它 评估 方式 见 4.2.1 节 )。 由 于 个 体 差异 的 存在 ,对 于 一 组 刺激 以 及 这 组 刺激 内 不 同 刺激 条 件 之 间 的 差异 ， 
在 不 同 被 试 的 神经 活动 和 行为 表现 上 可 能 是 不 一 样 的 ; 如 果 被 试 内 部 对 不 同 刺激 条 件 的 加 工 存在 稳定 的 规律 ， 那么 
通过 计算 得 到 的 RDM 在 个 体 之 间 可 能 是 类 似 的 。(B) 对 于 EEG/MEG 数据 ， 可 以 在 每 个 时 间 点 上 计算 不 同 刺 激 条 件 
之 间 的 不 相似 度 并 构建 对 应 的 神经 RDM， 再 分 别 与 其 它 来 源 的 RDM 进行 比较 得 到 相似 度 曲 线 。 例 如 ， 本 图 显示 在 
刺激 呈现 约 200 ms 后 出 现 了 区 分 动 植物 类 别 概念 的 神经 表征 ,这 种 分 类 机 制 在 不 同 个 体 之 间 是 一 致 的 (尽管 具体 的 
神经 表征 活动 模式 在 不 同 被 试 间 可 能 存在 较 大 差异 )。 将 构建 的 模型 RDM 与 逐 时 间 点 构建 的 神经 RDMs 进行 比较 ， 
可 以 在 一 定 程度 上 说 明 根据 理论 假设 构建 的 模型 能 够 在 什么 时 程 上 对 不 同 刺 激 类 型 之 间 的 差异 做 出 解释 。 
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3 ”基于 分 类 的 解码 


3.1 基本 概述 

解码 分 析 起 源 于 机 器 学 习 中 的 分 类 算法 ， 它 
主要 根据 从 样本 数据 中 提取 的 特征 (能 够 反映 样 
本 数据 在 某 些 方面 的 属性 。ERPs/ERMFs 研究 主 
要 关注 如 时 间 - 振 幅 、 时 间 - 通 道 、 时 间 - 频 率 - 功 
率 等 特征 ) 来 训练 能 够 区 分 不 同类 别 (样本 数据 所 
属 的 种 类 ， 如 刺激 类 型 、 认 知 状 态 等 ) 的 分 类 模型 。 
在 认 知 神经 科学 领域 ， 人 们 可 以 使 用 与 特定 事件 
相关 的 EEG/MEG 数据 来 训练 和 测试 分 类 器 
(classifier)， 以 寻找 不 同心 智 活 动 下 的 神经 表征 差 
异 ， 从 而 将 特定 事件 所 对 应 的 大 脑 活动 信号 进行 
区 分 (Pereira et al., 2009; Haxby et al., 2014; Haynes, 
2015; Contini et al., 2017). 以 采用 EEG/MEG 技术 
开展 的 一 个 视觉 研究 举例 ， 解 码 分 析 的 流程 大 致 
如 图 5 所 示 : 该 研究 拟 探 究 人 们 在 识别 动物 刺激 
和 植物 刺激 时 的 神经 信号 差异 ， 在 向 被 试 呈现 不 
同类 型 的 视觉 刺激 并 记录 EEG/MEG 后 (图 5A), 
对 每 名 被 试 的 数据 进行 单独 处 理 。 首 先进 行 数 据 
预 处 理 以 提高 解码 分 析 的 效果 ， 再 将 预 处 理 好 的 
数据 分 为 训练 集 和 测试 集 并 分 别 打上 标签 (例如 
试 次 2 和 试 次 3 都 是 动物 ， 编 码 为 0; 试 次 1 和 试 


mk 


试 次 1 ” 试 次 2 试 次 3 试 次 4 
刺激 刺激 刺激 刺激 
类 型 A 类 型 B 类 型 B 类 型 A 


B 训练 集 


We. A 


测试 集 
测试 分 类 器 
a —_ 


Sage 


次 4 都 是 植物 ,编码 为 1) 形 成 训练 集 和 测试 集 ; 
然后 将 训练 集 用 于 训练 分 类 器 以 构建 分 类 模型 
(不 同 通道 下 每 个 试 次 的 神经 信号 为 预测 变量 ， 打 
上 的 标签 为 结果 变量 ); 最 后 用 测试 集 来 检验 分 类 
模型 的 性 能 ， 即 计算 模型 预测 标签 和 实际 标签 的 
差异 ， 也 就 是 解码 正确 率 (图 SB)。 如 果 解 码 正 确 
率 高 于 随机 水 平 (chance level， 本 研究 中 的 随机 水 
平 为 50%), 说 明 它 确实 能 够 区 分 不 同 的 大 脑 认 知 
状态 ， 因 为 分 类 器 能 够 从 训练 集中 学 习 到 不 同 的 
类 别 与 其 特征 之 间 的 关系 ， 并 将 这 种 关系 推广 到 
训练 样本 以 外 的 独立 数据 中 。 对 于 每 名 被 试 ， 可 
以 在 每 个 时 间 点 都 分 别 进行 上 述 的 解码 分 析 并 得 
到 一 个 解码 正确 率 ， 进 而 绘制 解码 正确 率 随 时 间 
变化 的 曲线 (图 3); 对 多 名 被 试 的 解码 正确 率 曲 线 
进行 组 平均 分 析 和 统计 检验 ,能够 考察 不 同 实验 
条 件 间 的 神经 表征 差异 何 时 达到 显著 ， 从 而 揭示 
人 类 大 脑 进行 分 类 加 工 的 时 间 进 程 。 
3.2 ”具体 算法 及 实现 
3.2.1 ”数据 预 处 理 

与 传统 ERPs/ERMFs 分 析 相 似 ,， 解码 分 析 的 
预 处 理 阶 段 也 需要 使 用 滤波 、 眼 动 校正 、 伪 迹 排 
除 、 数 据 分 段 、 重 参考 等 方式 来 处 理 原始 信号 ( 详 
JL Luck，2014)， 以 尽 可 能 地 减少 伪 迹 和 噪声 带 来 
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图 5 解码 分 析 流 程 示 意图 。(A) 采 用 标准 的 EEG/MEG 记录 方法 对 呈现 不 同类 型 刺激 信息 时 被 试 的 大 脑 活动 信号 进 


行 采集 。 由 于 每 种 类 型 的 刺激 都 与 一 种 特定 的 大 脑 活动 模式 有 关 ， 因此 可 以 寻找 大 脑 与 不 同 刺激 条 件 之 闻 的 神经 相 
关 性 。(B) 解 码 分析 的 基本 模型 。 将 已 有 数据 划分 为 训练 集 和 测试 集 (其 中 色 块 表示 用 于 解码 分 析 的 特征 信息 ), 使 用 
已 标记 训练 标签 的 数据 来 训练 分 类 器 ,并 使 用 测试 集 对 训练 好 的 分 类 器 进行 测试 ; 通过 计算 分 类 模型 预测 的 结果 和 


真实 结果 之 间 的 差异 , 便 可 以 得 到 用 于 评估 分 类 性 能 的 解码 正确 率 。 
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的 影响 。 在 预 处 理 阶段 ， 根 据 关 注 的 特征 类 型 对 
信号 处 理 的 操作 有 所 不 同 。 例 如 , 关注 特定 的 时 
域 ERP 成 分 时 需要 将 提取 后 的 ERPs/ERMFs 振幅 
言 息 作 为 后 续 解 码 的 输入 ,通常 采用 截止 频率 
30~40 Hz 的 低 通 数字 滤波 去 除 高 频 噪 音 ( 低 频 噪 
音 一 般 是 在 EEG 记录 时 通过 高 通 模拟 滤波 来 去 除 ， 
截止 频率 通常 设 为 0.01~0.1 Hz); 关注 某 个 频段 
的 神经 震荡 活动 时 ,可 以 采取 希 尔 伯 特 变换 或 小 
波 变换 的 方式 提取 固定 频段 的 能 量 信号 (例如 ， 
8~13 Hz 的 alpha 能 量 ) 作 为 后 续 解 码 的 输入 (Bae 
& Luck, 2018; Xie et al., 2020)。 受 到 通道 数量 、 
采样 率 、 关 注 的 特征 类 型 等 诸多 因素 的 影响 ,有 
时 为 了 防止 输入 分 类 器 的 特征 数量 过 多 而 导致 过 
拟 合 (over fitting) 的 情况 发 生 (de Martino et al., 
2008; Misaki et al., 2010; Lemm et al., 2011; 
Weaverdyck et al., 2020), 需要 对 EEG/MEG 数据 
进行 降 维 处 理 以 减少 数据 中 的 元 余 信 息 。 和 常用 的 
数据 降 维 方法 有 主 成 分 分 析 (principle component 
analysis), 、 独 立成 分 分 析 (independent component 
analysis) 和 方差 分 析 (analysis of variance) 等 (Pereira 
et al., 2009; Lemm et al., 2011; Carlson et al., 2011, 
2013; Charles et al., 2014; Isik et al., 2014; Sankaran 
et al., 2018; Dobs et al., 2019)。 为 了 减少 解码 的 耗 
时 ,在 解码 之 前 可 以 通过 将 时 间 窗 内 多 个 时 间 点 
的 数据 平均 来 对 数据 进行 降 采样 (downsampling) 
处理 ,该 操作 会 增加 数据 的 信 品 比 , 一 定 程度 上 
能 够 提升 解码 性 能 ， 同 时 由 于 数据 降 到 较 低 的 采 
样 率 ， 使 得 用 于 训练 和 测试 分 类 器 的 时 间 点 数量 
减少 ,这 将 大 幅 减少 信号 解码 的 耗 时 ， 对 于 数据 
分 析 来 说 是 有 利 的 (Carlson et al., 2011, 2013; Kaiser, 
Azzalini, & Peelen, 2016; Kaiser, Oosterhof, & 
Peelen, 2016; Giari et al., 2020), JLab, 在 解码 分 
析 前 随机 选取 相同 刺激 条 件 下 的 部 分 试 次 进行 信 
号 平均 来 提高 用 于 解码 数据 的 信 品 比 ， 可 以 适当 
提高 解码 性 能 ， 并且 在 一 定 范 围 内 ,， 随 着 用 于 信 
号 平均 的 试 次 数 增加 ， 其 解码 正确 率 的 也 会 有 一 
定 的 提升 (Isik et al., 2014; Redcay & Carlson, 2015; 
Grootswagers et al., 2017; Bae & Luck, 2018, 
2019a, 2019b; Collins et al., 2018). 

在 预 处 理 阶段 ， 如 果 ERPs/ERMFs 在 试 次 之 
间 显 示 出 较 大 的 变异 性 ， 导 致 数据 处 于 一 个 较 大 的 
取 值 范围 时 ， 则 要 对 数据 进行 归 一 化 normalization) 
处 理 (Correia et al., 2015; Guggenmos et al., 2018; 


Tuckute et al., 2019; Kong et al., 2020)。 归 一 化 不 
仅 能 够 避免 不 同 数据 间 由 于 取 值 范围 的 差异 所 造 
成 的 影响 ， 提 高 解码 精度 ， 还 能 适当 降低 训练 分 
类 咒 的 时 间 成 本 ， 从 而 提高 计算 效率 。 常 用 的 归 
一 化 方法 有 最 小 最 大 值 法 (min-max; Croce et al., 
2018; Güven et al., 2020) 和 z 分 数 法 (z-score; Isik et 
al., 2014; Sato et al., 2018; Tuckute et al., 2019; 
Barchiesi et al., 2020)。 

3.2.2 ”数据 划分 

在 训练 分 类 器 之 前 ， 需 要 将 预 处 理 之 后 的 
ERPs/ERMFs 数据 划分 为 训练 集 和 测试 集 ， 用 于 
训练 分 类 器 并 测试 其 泛 化 性 能 (训练 得 到 的 分 类 
模型 对 新 样本 数据 的 适应 能 力 )。 受到 实际 样本 数 
量 的 限制 , 为 了 尽 可 能 的 对 数据 进行 利用 ， 提 高 
分 类 器 的 性 能 , 需要 引入 交叉 验证 (cross validation) 
的 方法 。 最 广泛 使 用 的 是 k 折 (k-folds) 交 叉 验 证 ， 
该 过 程 包括 了 彼此 相互 独立 的 k 次 迭代 运算 ( 即 k 
次 训练 和 测试 ): 首先 需要 将 数据 集 等 比例 划分 成 
k 个 试 次 数 相等 的 子 集 ， 在 每 次 迭代 过 程 中 依次 
取出 划分 后 的 1 个 子 集 作为 测试 集 ， 用 来 对 训练 
后 的 分 类 器 性 能 做 出 评估 ， 同 时 将 剩 下 的 k-1 个 
子 集 作 为 训练 集 用 于 训练 分 类 器 ; 最 后 将 k KE 
代 后 得 到 的 正确 率 进 行 平均 (Pereira et al.，2009; 
Lemm et al., 2011; Grootswagers et al., 2017; 
Weaverdyck et al., 2020), 4 k 折 交 叉 验 证 的 迭代 
运算 次 数 k 等 于 样本 量 n 时 ,是 k 折 交 叉 验 证 的 
一 种 特殊 形式 ,也 称 为 留 一 法 (leave-one-out) 交 叉 
验证 : 每 次 抽出 一 个 样本 作为 测试 集 ， 并 将 剩余 的 
n-1 个 样本 用 来 训练 分 类 器 ; 将 该 过 程 不 断 重复 ， 
直到 每 个 样本 都 被 作为 了 测试 集 ， 此 时 会 得 到 n 
个 解码 正确 率 , 它们 的 平均 结果 则 作为 衡量 模型 
性 能 的 指标 。 留 一 法 对 样本 的 利用 率 最 高 , 但 同 
时 该 方法 会 非常 耗 时 ,一般 更 适用 于 小 样本 的 情 
Wi (Pereira et al., 2009; Lemm et al., 2011; Carlson 
et al., 2013; Tucciarelli et al., 2015; Grootswagers 
et al., 2017, 2019; Robinson et al., 2019)。 

应 当 注意 的 是 ,在 一 个 完整 的 训练 -测试 流 
程 中 , 训练 和 测试 的 数据 需要 保持 相互 独立 ， 如 
果 对 来 自 相 同 刺 激 条 件 的 某 个 试 次 同时 执行 训练 
和 测试 两 个 步骤 ,容易 造成 分 类 器 过 拟 合 的 情况 ， 
进而 对 其 性 能 造成 影响 (Fahrenfort et al., 2018). 
另外 ,还 需要 尽量 保持 各 个 条 件 之 间 样 本 数量 的 
平衡 , 否则 有 可 能 会 导致 分 类 器 对 不 同类 别 的 判 
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别 能 力 有 着 较 大 的 差距 ， 使 得 分 类 器 进行 分 类 时 
偏向 样本 基数 大 的 一 方 就 能 得 到 较 高 的 正确 率 ， 
进而 对 实验 结果 的 解释 造成 影响 (Pereira et al., 
2009; Carlson et al., 2019)。 
3.2.3 ”模型 构建 

将 数据 进行 划分 后 ， 需 要 把 训练 集 输入 至 分 
类 器 中 ,使 分 类 器 从 数据 中 按照 一 定 规则 找到 决 
策 边 界 , 求解 出 相应 的 函数 来 构建 分 类 模型 。 对 
于 分 类 器 的 选择 ,一般 选择 线性 分 类 器 而 不 是 非 
线性 分 类 器 ， 主 要 有 以 下 几 点 考量 : 第 一 , 非 线性 
分 类 器 虽然 能 够 拟 合 更 为 复杂 的 决策 边界 ,但 这 
种 分 类 性 能 的 提高 往往 是 以 过 拟 合 为 代价 的 ， 导 
致 其 对 结果 的 可 解释 性 比 线性 分 类 器 差 Kamitani 
& Tong, 2005; Misaki et al., 2010; Carlson et al., 
2019; Ivanova et al., 2021)。 第 二 ， 线 性 分 类 器 能 够 
将 其 权重 经 过 处 理 后 投影 到 EEG/MEG 通道 的 地 
形 图 上 ( 详 见 下 一 小 节 “ 权 重 投影 部 分 ),， 使 结 } 
可 视 化 ,让 人 们 能 够 对 解码 信息 的 来 源 有 一 个 更 
加 直观 的 认识 (Haufe et al., 2014)。 第 三 , 线性 分 类 
器 是 对 来 自 不 同 通道 的 信息 进行 加 权 和 组 合 ,与 
大 脑 神 经 元 的 工作 原理 很 像 ， 更 符合 生物 学 特性 
(Kriegeskorte, 2011; Ivanova et al., 2021)。 因 此 在 
认 知 神经 科学 的 研究 中 , 研究 者 更 加 倾向 于 使 用 
线性 分 类 器 进行 解码 分 析 ， 如 线性 支持 向 量 机 
(linear support vector machine, LSVM; Cichy et al., 
2014, 2016; Cichy, Pantazis, & Oliva, 2016; Cichy, 
Kriegeskorte, et al., 2017; Cichy, Khosla, et al., 
2017; Charles et al., 2014; Tucciarelli et al., 2015; 
Bae & Luck, 2018, 2019a, 2019b; Dobs et al., 2019) 
和 线性 判别 分 析 (linear discriminant analysis, LDA; 
Carlson et al., 2011, 2013; Kaiser, Azzalini, & 
Peelen, 2016; Kaiser, Oosterhof, & Peelen, 2016; 
Wardle et al., 2016; Fahrenfort, Grubert, et al., 2017; 
Fahrenfort, van Leeuwen, et al., 2017; Alilović et al., 
2019; Linde-Domingo et al., 2019; Barchiesi et al., 
2020; Blom et al., 2020)。 在 具体 研究 中 , 单纯 地 追 
求 更 高 的 解码 正确 率 并 非 是 解码 分 析 在 认 知 神经 
科学 中 的 主要 目标 , 研究 者 更 重视 的 是 对 认 知 加 
工 过 程 的 神经 机 制 进行 合理 的 阐述 (Hebart & 
Baker, 2018; Teichmann et al., 2020)， 所 以 在 非 必 
要 的 情况 下 ,线性 分 类 器 是 最 佳 的 选择 。 
3.2.4 ”模型 检验 

在 训练 好 分 类 器 之 后 ， 需 要 用 测试 集 数据 对 


其 进行 泛 化 测试 ， 以 评估 分 类 器 对 于 特定 认 知 加 
工 过 程 的 识别 能 力 。 泛 化 测试 得 到 的 结果 一 般 是 
分 类 器 的 解码 正确 率 ; 在 前 人 的 研究 中 ， 有 许多 
方法 被 用 于 在 群体 水 平 上 对 分 类 器 的 解码 正确 率 
和 随机 水 平 之 间 的 差异 进行 统计 检验 ,如 t 检验 
(t-test; Carlson et al., 2011; Allefeld et al., 2016; 
Bode et al., 2019; Fahrenfort, Grubert, et al., 2017; 
Fahrenfort, van Leeuwen, et al., 2017; Fahrenfort et 
al., 2018; Hubbard et al., 2019; Sandhaeger et al., 
2019), W 叶 斯 因子 (Bayes Factors; Wagenmakers, 
2007; Rouder et al., 2009; Dienes, 2016; Grootswagers 
et al., 2019; Robinson et al., 2019)、Wilcoxon 符号 
秩 检 验 (Wilcoxon signed-rank test; Charles et al., 
2014; Correia et al., 2015; Redcay & Carlson, 2015; 
Sankaran et al., 2018; Linde-Domingo et al., 2019), 
置换 检验 (permutation test; Cichy et al., 2014; Isik 
et al., 2014; Tucciarelli et al., 2015; Pantazis et al., 
2018) 等 方法 。 由 于 以 上 方法 在 每 个 时 间 点 上 都 对 
正确 率 进 行 了 检验 , 大量 的 检验 会 造成 多 重 比较 
的 问题 所 以 还 需要 对 检验 后 的 结果 进行 校正 。 
常用 的 多 重 比较 校正 方法 有 FDR (false discovery 
rate; Benjamini & Yekutieli, 2001; Correia et al., 
2015; Redcay & Carlson, 2015; Fahrenfort et al., 
2018; Heikel et al., 2018; Pantazis et al., 2018), 4% 
于 艇 的 置换 检验 (cluster-based permutation test; 
Maris & Oostenveld, 2007; Oosterhof et al., 2016; 
Fahrenfort, Grubert, et al., 2017; Fahrenfort, van 
Leeuwen, et al., 2017; Kia et al., 2017; Bae & Luck, 
2019a, 2019b; Teichmann et al., 2020) & Bonferroni 
校正 (Bonferroni; Cichy et al., 2014; Kaiser, Oosterhof, 
& Peelen, 2016; Guggenmos et al., 2018; Sankaran 
et al., 2018)。 以 上 评估 和 校正 方法 都 取得 了 不 错 
的 效果 ,但 是 它们 同样 有 着 各 自 最 适合 使 用 的 场 
景 ， 因 此 需要 结合 实际 的 研究 内 容 来 选择 具体 的 
方法 (Allefeld et al., 2016; Hebart & Baker, 2018; 
Carlson et al., 2019). 

已 有 的 ERPs/ERMFs 研究 主要 是 在 关注 的 通 
道上 (全 部 通道 或 者 由 部 分 通道 组 成 的 通道 徐 ) 利 
用 数据 空间 结构 特征 逐 时 间 点 开展 解码 分 析 , 但 
不 同 研究 之 间 对 于 数据 处 理 方法 的 选择 并 不 一 致 
(如 预 处 理 采 用 哪些 步 又、 怎样 对 数据 进行 划分 、 
如 何 构建 模型 并 对 其 进行 统计 检验 等 )， 目 前 还 没 
有 一 套 可 供 参 考 的 标准 化 规范 因此 研究 者 在 实 
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际 分 析 的 时 候 需 要 根据 自身 的 数据 特点 进行 综合 
考量 ， 尽 可 能 选择 最 合适 的 方法 组 合 ， 以 保持 解 
码 精度 和 操作 步骤 数量 之 间 的 平衡 (Grootswagers 
et al., 2017; Carlson et al., 2019)。 
3.3 ”基于 解码 分 析 的 衍生 方法 
3.3.1 时间 泛 化 方法 

时 间 泛 化 方法 (the temporal generalization method) 
能 够 对 神经 表征 随时 间 变 化 的 稳定 性 进行 描述 
(Fahrenfort et al., 2018), 根据 关注 的 问题 类 型 可 
具体 细 分 为 跨 时 域 解码 (cross-temporal decoding) 
和 跨 任 务 /状态 解码 (cross-task/state decoding) 两 种 
方法 。 其 中 ， 跨 时 域 解码 通过 在 特定 的 时 间 点 上 
对 分 类 器 进行 训练 ,并 在 所 关注 时 间 进 程 内 部 的 
所 有 时 间 点 上 进行 泛 化 测试 ， 利 用 时 间 泛 化 矩阵 
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来 揭示 不 同 认 知 状态 下 的 大 脑 活 动 模式 是 怎样 随 
着 时 间 变 化 的 , 使 人 们 对 大 脑 活 动 模式 在 时 间 跨 
度 上 的 泛 化 性 可 以 有 更 为 直观 的 认识 (Carlson et 
al., 2011, 2013; Cichy et al., 2014; King & Dehaene, 
2014; Teichmann et al., 2018; Dobs et al., 2019). 如 
图 6A 所 示 , 矩阵 对 角 线 上 的 结果 与 常规 逐 时 间 
点 解码 分 析 得 到 的 结果 一 致 ， 而 非 对 角 线 上 的 结 
果 则 代表 了 神经 表征 随时 间 变 化 的 情况 : 如 果 在 
某 个 时 间 点 上 训练 好 的 分 类 器 能 够 很 好 的 对 其 它 
时 间 点 上 的 数据 进行 预测 ， 说 明 在 这 些 时 间 点 上 
大 脑 对 信息 的 编码 模式 是 类 似 的 ; 反之 , 则 说 明 
在 这 些 时 间 点 上 大 脑 对 信息 的 编码 模式 发 生 了 变 
化 ,导致 该 分 类 器 的 决策 边界 不 再 适用 于 其 它 时 间 
点 (Carlson et al., 2011; Grootswagers et al., 2017)。 
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图 6 基于 解码 分 析 的 衍生 方法 示意 图 。(A) 利 用 时 间 泛 化 方法 能 够 直观 地 在 时 间 跨 度 上 对 刺激 呈现 后 相应 的 神经 表 


如 左 图 、 中 图 所 示 ， 当 以 某 一 时 间 点 、 频 率 或 者 通道 为 


Pubs, 


征 稳定 性 进行 观察 。 其 中 ,对 角 线 为 常规 逐 时 间 点 解码 分 析 的 结果 , 非 对 角 线 为 信息 编码 模式 随时 间 变 化 的 情况 。(B) 
原始 权重 投影 如 左 图 ,由 于 直接 使 用 各 个 通道 的 原始 权重 值 不 利于 对 解码 信息 的 来 源 做 出 合理 的 解释 ， 因 此 需要 
用 Haufe 等 人 (2014) 提 供 的 方法 对 原始 特征 权重 进行 变换 。 如 右 图 所 示 ， 变 换 后 的 权重 投影 解释 性 更 强 ， 体 现 为 桃 区 
对 于 区 分 不 同 条 件 的 贡献 最 大 。(C) 采 用 探照灯 分 析 能 够 在 时 间 、 频 率 、 通 道 维度 上 对 感 兴趣 的 多 变量 效应 进行 研究 。 


闫 合 该 中 心 邻 域内 的 其 它 信息 共 同 构 建 分 类 特征 ， 可 以 


帮助 人 们 从 时 间 、 功 率 、 空 间 上 探索 特定 频率 下 在 不 同时 刻 每 个 通道 对 分 类 结果 的 贡献 情况 ， 其 结果 如 右 图 所 示 。 
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跨 时 域 解码 用 于 解释 神经 表征 是 如 何 随 着 时 
间 动 态 变 化 的 ， 跨 任务 /状态 解码 则 用 于 揭示 不 同 
类 型 刺激 之 间 的 神经 表征 差异 在 不 同 任务 状态 下 
的 泛 化 情况 (King & Dehaene, 2014; Contini et al., 
2017): 使 用 任务 A 下 的 ERPs/ERMFs 数据 对 分 类 
器 进行 训练 ,并 对 任务 B 的 ERPs/ERMFs 数据 进 
行 泛 化 测试 ， 可 以 揭示 不 同 任务 状态 下 大 脑 对 信 
息 编 码 过 程 中 神经 表征 的 相似 性 ， 以 及 这 种 相似 
性 是 如 何 随 着 时 间 变 化 的 (Isik et al., 2014; Kaiser, 
Azzalini, & Peelen, 2016; Kaiser, Oosterhof, & 
Peelen, 2016; Dijkstra et al., 2018; Blom et al., 
2020; Xie et al., 2020)。 跨 时 域 解码 与 跨 任务 /状态 
解码 的 分 析 流程 基本 相似 , 不同 之 处 在 于 ,用 于 
跨 时 域 解码 的 训练 集 和 测试 集 是 从 同一 个 任务 下 
不 同 条 件 的 数据 中 采用 交叉 验证 的 方法 进行 划分 
所 得 ; 用 于 跨 任 务 /状态 解码 的 训练 集 和 测试 集 则 
来 自 两 个 不 同 实验 任务 下 的 数据 ,两 个 实验 任务 
的 数据 需要 分 别 作为 训练 集 和 测试 集 来 分 别 完 成 
一 次 解码 ， 且 任务 之 间 的 刺激 条 件 要 彼此 对 应 ( 即 
任务 A 的 条 件 M 要 与 任务 B 的 条 件 M 对 应 , 任 
务 A 的 条 件 N 要 与 任务 B 的 条 件 N 对 应 )。 
3.3.2 ”权重 投影 
使 用 考虑 特征 协 方差 的 线性 分 类 器 (如 支持 
向 量 机 、 线 性 判别 分 析 ) 对 多 个 通道 的 数据 进行 解 
码 分 析 时 , 除了 解码 正确 率 外 ,还 能 获取 到 分 类 
器 在 各 个 通道 上 用 于 预测 的 特征 权重 。 根 据 不 同 
通道 的 权重 信息 进行 特定 的 数学 变换 ， 可 以 估计 
某 一 通道 在 分 类 过 程 中 对 于 有 效 信息 的 贡献 情况 ， 
进而 定位 解码 信息 的 主要 来 源 , 这 便 是 权重 投影 
(weight projection) 方 法 。 

当 使 用 权重 投影 的 方法 来 说 明 解 码 信息 的 洪 
在 来 源 时 ， 必 须 只 考虑 用 于 区 分 不 同类 别 条 件 之 
间 差 异 的 信号 , 使 得 权重 只 反映 每 个 特征 在 分 类 
过 程 中 的 重要 性 (Haufe et al., 2014; Fahrenfort, 
van Leeuwen, et al., 2017; Hebart & Baker, 2018; 
Carlson et al., 2019)。 由 于 来 自 线性 分 类 器 解码 之 
后 每 个 通道 的 权重 不 能 可 靠 地 被 直接 解释 为 神经 
活动 信号 的 强 弱 (Haufe et al., 2014), 我 们 可 以 使 
用 Haufe 等 人 (2014) 描 述 的 一 种 数学 方法 ， 可 以 提 
升 权 重信 息 的 可 解释 性 (图 6B)。 以 线性 分 类 器 


该 方法 重新 生成 的 通道 权重 ,可 以 解释 为 神经 源 信 
息 。 还 需 注意 的 是 ， 权 重 投 影 法 并 不 适用 于 滑动 
窗口 这 种 将 多 个 时 间 点 的 数据 直接 作为 输入 特征 
来 进行 分 类 的 方法 (Haufe et al., 2014; Grootswagers 
et al., 2017; Kia et al., 2017). 
3.3.3 ”探照灯 分 析 

FR HE KT A} Hf (searchlight) 也 称 为 信息 映射 
(information mapping)， 主 要 用 于 识别 局 部 信息 区 
域 特征 ， 以 支持 在 时 间 、 频 率 、 通 道上 对 关注 的 
效应 进行 定位 (Tucciarelli et al., 2015; Oosterhof et 
al., 2016; Ronconi et al., 2017; Sato et al., 2018). ## 
照 灯 分 析 的 中 心思 想 在 于 ， 以 某 一 时 间 点 、 频 率 
或 者 通道 为 中 心 , 联合 该 中 心 邻 域 (neighborhoods) 
内 的 其 它 信 息 共 同 构 建 特征 向 量 来 作为 用 于 解码 
分 析 的 特征 集 (图 6C 左 、 中 )， 并 用 计算 得 到 的 解 
人 码 正确 率 (在 探照灯 分 析 中 亦 被 称 作 度量 ,measures) 
作为 评估 该 中 心 特征 对 于 分 类 的 贡献 指标 (图 6C 
右 )。 其 中 ， 邻 域 指 的 是 在 探照灯 分 析 中 具体 使 用 
的 时 间 、 频 率 以 及 通道 半径 范围 ， 它 定义 了 实际 
分 析 中 所 使 用 的 区 间 间 隔 大 小 (Oosterhof et al., 
2016)。 

为 了 直观 体现 传统 解码 分 析 和 探照灯 分 析 的 
区 别 ， 下面 以 时 域 解码 为 例 , 解码 分 析 的 做 法 是 
将 全 部 通道 (或 其 子 集 ) 的 ERPs/ERMFs 数据 进行 
逐 时 间 点 分 类 ,探照灯 分 析 则 是 以 每 个 时 间 点 为 
中 心 ,将 它们 分 别 与 其 邻 域内 的 时 间 点 进行 整合 ， 
并 对 整合 后 全 部 通道 (或 其 子 集 ) 的 数据 进行 逐 时 
间 点 分 类 。 如 利用 64 通道 的 ERPs 数据 进行 逐 时 
间 点 解码 ， 解 码 分 析 在 每 个 时 间 点 上 用 于 训练 模 
型 的 特征 数 为 64x1=64 个 ， 而 邻 域 为 2 的 探照灯 
分 析 还 需要 包含 前 后 各 2 个 时 间 点 的 信息 ， 因 此 
在 某 一 时 间 点 上 需要 输入 的 特征 数 为 64x(2+1+2)= 
320 个 。 此 时 ， 探 照 灯 分 析 可 以 视 为 尽 可 能 地 减少 
时 域 上 的 高 频 噪 音 对 数据 造成 的 影响 , 在 寻找 效 
应 来 源 的 同时 增加 信 噪 比 ， 以 发 气 更 加 精细 的 差 
异 。 基 于 ERPs/ERMFs 数据 的 探照灯 分 析 具 有 多 
种 形式 ， 同 理 ， 当 进行 逐 通道 的 分 析 时 ， 则 是 将 每 
个 通道 及 其 邻 域内 的 通道 整合 为 一 个 通道 徐 来 作 
为 分 类 器 输入 特征 ,以 提高 空间 维度 上 的 信 噪 比 。 
于 不 同 的 邻 域 之 间 可 以 相互 组 合 ， 因 此 还 可 以 


LDA 的 权重 变换 为 例 ， 该 方法 将 分 类 器 的 权重 乘 
以 数据 协 方差 矩阵 。 由 于 从 LDA 中 获得 的 权 值 包 
含 由 协 方差 矩阵 归 一 化 的 两 个 比较 集 之 间 的 差异 ， 


使 用 时 间 - 通 道 的 探照灯 分 析 , 在 时 间 、 空 间 上 对 
所 关注 的 效应 进行 定位 ， 直 到 获得 每 个 通道 在 不 
同时 刻 对 分 类 结果 贡献 的 映射 情况 (Tucciarelli et 
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al., 2015; Kaiser, Oosterhof, & Peelen, 2016; 
Kietzmann et al., 2017; Ronconi et al., 2017; 
Collins et al., 2018; Robinson et al., 2019; Barchiesi 
et al., 2020; Giari et al., 2020; Teichmann et al., 
2020)。 以 此 类 推 ,， 时间、 频率 、 通 道 之 间 也 可 以 
进行 组 合 ， 并且 在 EEG/MEG 研究 中 , 还 可 以 将 
时 间 泛 化 方法 与 探照灯 分 析 相 结合 ， 实 现时 间 泛 
化 -探照灯 分 析 (Oosterhof et al., 2016)。 作 为 解码 
分 析 的 衍生 方法 ， 利 用 探照灯 分 析 同 样 可 以 描述 


间 的 差异 并 将 它们 进行 关联 ， 是 许多 研究 者 关注 
的 问题 .Kriegeskorte, Mur 和 Bandettini 等 人 (2008) 
提出 了 一 种 叫做 RSA 的 模式 信息 分 析 (pattern- 
information analysis) 方 法 用 于 研究 脑 活动 测量 7 
为 测量 和 计算 建 模 之 间 的 定量 关系 。RSA 主要 关 
注 的 是 刺激 条 件 与 神经 响应 水 平 之 间 的 二 阶 同 构 
(second-order isomorphism) 而 非 两 者 之 间 的 一 阶 
同 构 (first-order isomorphism): 一 阶 同 构 直 接 比 较 
不 同 刺激 条 件 所 诱发 的 神经 响应 水 平 ， 例如 比 


F 


不 同 刺激 条 件 下 大 脑 活 动 模式 的 细微 变化 ， 从 而 
提供 新 颖 的 见解 (Collins et al., 2018)。 

权重 投影 和 逐 通道 的 解码 分 析 / 探 照 灯 分 析 
都 可 以 作为 对 神经 活动 信号 源 进 行 定 位 的 方法 ， 
它们 对 于 结果 的 解释 可 以 是 相似 的 ， 比 如 不 同 神 
经 表征 的 差异 体现 在 哪些 时 刻 的 哪些 脑 区 或 者 通 
道上 。 需 要 注意 的 是 , 这 些 方法 基于 不 同 的 算法 
原理 ,关注 的 分 别 是 线性 分 类 器 赋予 各 通道 的 权 
重 值 和 解码 正确 率 。 因 此 ， 即 便 对 于 同一 批 数据 
而 言 ， 这 些 方法 用 于 计算 结果 的 信息 来 源 并 不 完 
全 相同 。 

解码 分 析 能 够 在 一 定 程度 上 对 不 同 认 知 状态 
下 的 神经 表征 差异 进行 探索 和 预测 , 但 是 其 依旧 
存在 着 些许 不 足 。 具 体 来 说 , 在 神经 表征 空间 中 
进行 解码 分 析 时 ， 主 要 依赖 于 分 类 器 去 寻找 能 够 
将 不 同 大 脑 活动 模式 进行 分 离 的 最 佳 决策 边界 
从 而 判断 不 同 认 知 状态 下 的 大 脑 活动 模式 是 否 有 
明显 差异 。 对 于 具体 是 何 种 表征 信息 在 分 类 过 程 
中 起 到 了 决定 性 作用 、 不 同 的 表征 信息 又 是 以 何 
种 形式 在 大 脑 中 进行 组 织 的 ,大脑 是 怎样 表征 相 
同类 别 刺 激 中 不 同 客体 (例如 动物 类 别 中 的 “ 黑 猩 


较 不 同 被 试 在 分 别 看 到 动物 刺激 与 植物 刺激 时 所 
诱发 出 的 ERPs/ERMFs 的 极 性 、 振 幅 强 度 、 潜 伏 
期 等 情况 (这 也 体现 出 传统 EEG/MEG 分 析 对 被 试 
的 一 致 性 要 求 更 高 ， 当 不 同 个 体 之 间 存 在 较 大 个 
体 差异 时 可 能 难以 对 结果 做 出 解释 ); 二 阶 同 构 则 
侧重 考虑 不 同 刺激 类 别 对 应 的 神经 响应 水 平 之 间 
的 差异 ， 并且 这 种 刺激 属性 和 神经 响应 水 平 之 间 
的 关系 在 抽 提 后 是 稳定 存在 于 个 体内 部 的 。 具 体 
MA, 不 同 被 试看 到 一 组 动物 刺激 和 植物 刺激 时 
所 诱发 出 的 ERPs/ERMEs 的 极 性 、 振 幅 强 度 、 洪 
伏 期 等 情况 可 能 会 非常 不 同 , 但 是 每 名 被 试 内 部 
均 可 以 表现 出 在 不 同 刺 激 类 别 之 间 的 神经 响应 水 
平 有 较 大 差异 ， 同 时 在 相同 刺激 类 别 内 部 表现 出 
相似 的 神经 响应 水 平 (Weaverdyck et al., 2020). 
RSA 在 二 阶 同 构 的 基础 上 来 表征 一 组 刺激 条 件 之 
间 神 经 响应 水 平 的 相似 程度 ， 它 更 加 关注 不 同 刺 
激 条 件 之 间 的 差异 而 非 具体 的 表现 形式 ， 例 如 
EEG/MEG 的 振幅 、fMRI 的 BOLD 响应 信和 号、 行 
为 成 绩 等 数据 之 间 的 性 质 差别 非常 大 ( 即 一 阶 同 
构 差 异 很 大 ), 但 是 它们 都 能 对 不 同 的 刺激 条 件 进 
行 区 分 , 并 且 经 过 抽 提 后 的 RDM 可 能 是 类 似 的 


D 


猩 " 和 “ 狗 ” 的 表征 ) 之 间 的 共性 与 差异 , 往往 难以 
从 解码 分 析 的 结果 中 得 知 (Haxby et al., 2014; Nili 
et al., 2014; Popal et al., 2019; Weaverdyck et al., 
2020; Freund et al., 2021)。 在 下 一 章 中 , 我们 将 介 
绍 另 一 种 用 于 弥补 上 述 不 足 的 神经 解码 方法 一 一 
表征 相似 性 分 析 。 


4 表征 相似 性 分 析 


4.1 基本 概述 

在 认 知 神经 科学 研究 中 ,经 常 需要 将 理论 模 
型 与 来 自 不 同 被 试 的 行为 数据 、 脑 影像 数据 进行 
比较 ， 由 于 数据 采集 方式 不 同 、 各 种 分 析 方 法 的 
测量 精度 不 一 等 因素 ， 如 何 跨越 不 同 来 源 数据 之 


( 即 二 阶 同 构 是 相似 的 ， 如 图 4A)。 因 此 , RSA 在 
具备 了 足够 的 统计 不 变性 的 情况 下 为 不 同 个 体 、 
不 同 来 源 和 形式 的 数据 提供 了 一 个 标准 化 的 公共 
表征 空间 (Kriegeskorte & Wei, 2021). 

RSA 通过 计算 所 有 可 能 的 两 个 刺激 (包括 相 
同 /不 同类 别 之 间 ) 组 合 之 间 的 可 区 分 性 或 者 相似 
性 , 来 编码 不 同 神经 表征 之 间 的 相似 性 结构 ， 并 
利用 RDM 来 描述 一 组 刺激 条 件 与 其 对 应 的 神经 
响应 水 平 之 间 的 关系 。 在 实际 研究 中 ,不同 的 刺 
激 条 件 在 神经 表征 空间 中 会 存在 着 与 之 对 应 的 响 
应 向 量 , RDM 记录 了 所 有 两 两 成 对 的 响应 向 量 间 
距离 ,这些 响应 向 量 对 间 的 距离 共同 定义 了 表征 
几何 (representational geometry)， 它 可 以 在 一 定 程 
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度 上 反映 不 同 刺激 条 件 的 表征 性 质 (Kriegeskorte 
& Kievit, 2013; Kriegeskorte et al.& Diedrichsen, 
2019; Freund et al., 2021; Kriegeskorte & Wei, 
2021). MIKI 4A 所 示 , RDM 的 基本 类 型 是 由 相同 
顺序 的 水 平和 垂直 刺激 进行 索引 的 方形 对 称 和 矩阵 ， 
其 中 对 角 线 表示 的 是 相同 刺激 条 件 之 间 的 比较 
(根据 定义 ， 对 角 线 的 数值 一 般 为 0), 非 对 角 线 的 
数值 表示 的 是 对 应 行 和 列 中 两 个 不 同 刺激 条 件 对 
之 间 的 差异 (该 差异 可 以 解释 为 在 表征 空间 中 对 
应 的 响应 向 量 间 的 距离 )。 原则 上 根据 不 同 来 源 数 
据 建立 的 RDM 都 可 以 用 来 预测 每 个 刺激 对 的 大 
脑 活动 模式 相对 相似 性 /差异 性 (图 4、 图 7)， 如 行 
为 结果 (Mur et al., 2013; Redcay & Carlson, 2015; 
Cichy, Kriegeskorte, et al., 2017; Furl et al., 2017; 
Wang et al., 2018; Dobs et al., 2019) 、 计 算 模 型 
(Cichy et al., 2016, Cichy, Khosla, et al., 2017; 
Wardle et al., 2016; Kietzmann et al., 2017; Pantazis 
et al., 2018; Kong et al., 2020), 、 刺 激 属性 (Carlson 
et al., 2013; Wardle et al., 2016; Furl et al., 2017; 
Sankaran et al., 2018) 、 不 同类 型 的 神经 成 像 数 据 
(Cichy et al., 2014; Cichy, Pantazis, & Oliva, 2016; 
Cichy & Pantazis, 2017), 不 同 物 种 (Kriegeskorte et 
al., 2008; Mur et al., 2013; Cichy et al., 2014; 
Sandhaeger et al.,2019) 等 ， 使 得 将 各 个 刺激 条 件 
之 间 的 差异 量化 后 直接 比较 不 同 数据 模 态 之 间 的 
差异 成 为 可 能 (Kriegeskorte, Mur, & Bandettini, 
2008; Kriegeskorte, 2011; Kriegeskorte & Kievit, 
2013)。 由 于 RDM 本 身 是 一 个 复杂 、 高 维 的 结构 ， 
为 了 在 低 维 空间 清晰 地 展现 出 RDM 包含 的 表征 
HEE, 通常 可 以 采用 多 维 尺度 变换 (multidimensional 
scaling, MDS; Torgerson, 1958; Kriegeskorte et al., 
2008; Carlson et al., 2013; Kietzmann et al., 2017; 


了 相同 与 不 相同 类 别 的 刺激 ) 的 神经 响应 信号 间 
的 相似 性 , 我 们 可 以 得 到 一 个 n-RDM, 它 能 够 表 
征 所 有 刺激 诱发 的 大 脑 活 动 模式 差异 。 考 虑 到 
EEG/MEG 包含 了 多 个 通道 和 时 间 点 的 数据 ， 以 
计算 单个 被 试 的 n-RDM 为 例 , 构建 n-RDM 时 可 
以 采取 以 下 做 法 ,这 两 种 方法 都 可 以 得 到 各 个 时 
间 点 (或 时 间 窗 ) 的 n-RDM， 并 能 够 用 来 观察 分 析 
神经 表征 随时 间 的 动态 变化 : 

(1) 逐 时 间 的 n-RDM。 依 次 在 每 个 时 间 点 上 ， 
将 同一 刺激 条 件 下 的 试 次 进行 平均 ,利用 通道 信 
息 来 计算 两 个 刺激 条 件 间 的 相似 性 ; 或 者 利用 成 
对 刺激 条 件 之 间 的 解码 正确 率 作 为 该 刺激 组 合 的 
相似 性 。 该 做 法 最 后 会 得 到 与 时 间 点 数量 相同 的 
n-RDMs, 

(2) 逐 通道 -时 间 的 n-RDM。 依 次 在 每 个 通道 
上 ,将 同一 刺激 条 件 下 的 试 次 进行 平均 ， 再 通过 
设置 时 间 窗 的 方式 , 使 得 特定 时 间 点 的 数据 包含 
了 对 应 时 间 窗 内 的 全 部 时 间 点 信息 (如 100 ms 时 
的 数据 为 以 该 时 间 点 为 中 心 、 前 后 各 20 ms 的 全 
部 时 间 点 信息 构成 的 时 间 窗 )， 再 逐 时 间 点 计算 两 
个 刺激 条 件 间 的 相似 性 ; 或 者 依次 在 每 个 通道 、 
每 个 时 间 点 上 ， 利 用 成 对 刺激 条 件 之 间 的 解码 正 
确 率 作为 该 刺激 组 合 的 相似 性 。 该 做 法 最 后 会 得 
到 通道 数 x 时 间 点 数 个 n-RDMs。 

行为 数据 也 是 常用 于 构建 RDM 的 来 源 之 一 。 
类 似 地 ,我 们 也 可 以 根据 被 试 的 行为 测量 结果 ( 正 
确 率 、 反 应 时 等 ) 直 接 做 两 个 刺激 之 间 的 算术 差 值 
( 即 欧 几 里 得 距离 ) 来 得 到 每 个 刺激 对 组 合 间 的 相 
似 性 ， 并 得 到 用 来 度量 行为 任务 中 不 同行 为 表现 
间 差 异 的 行为 RDM (简称 b-RDM)。 

构建 n-RDM 与 b-RDM 时 相似 性 度量 方法 有 
以 下 两 种 : (1) 距 离 法 (构建 n-RDM 与 b-RDM 时 


Pantazis et al., 2018; Sankaran et al., 2018)、z- 分 布 
PE HL AB Jak te A (t-distributed stochastic neighbor 
embedding, t-SNE; van der Maaten & Hinton, 2008; 
Grootswagers et al., 2019) 以 及 层次 聚 类 (hierarchical 
clustering; Johnson, 1967; Mur et al., 2013; Cichy 
et al., 2014) 来 对 RDM 进行 可 视 化 。 
42 ”具体 算法 及 实现 
4.2.1 构建 RDM 

在 基于 RSA 的 EEG/MEG 研究 中 , 最 重要 的 
一 步 是 构建 神经 RDM (简称 n-RDM)。 根 据 采 集 
到 的 ERPs/ERMFs 数据 ， 计 算 不 同 刺激 (同时 包含 


均 可 以 采用 , 例如 根据 相关 距离 对 多 维度 的 行为 
学 数据 构建 差异 矩阵 ,对 EEG/MEG 数据 则 可 以 
使 用 通道 或 时 间 点 信息 作为 相关 样本 来 衡量 不 同 
条 件 间 的 差异 ; 也 可 以 根据 欧 几 里 得 距离 分 别 对 
一 维 的 行为 学 数据 on 维 的 EEG/MEG 数据 间 测 量 
值 的 差异 进行 衡量 ; Redcay & Carlson, 2015; Furl 
et al., 2017; Kietzmann et al., 2017; Teichmann et 
al., 2018; Greene & Hansen, 2018; Wang et al., 
2018; Giari et al., 2020); (2) 解 码 正 确 率 法 (适用 于 
构建 n-RDM; Carlson et al., 2013; Cichy et al., 
2014, 2016; Cichy, Pantazis, & Oliva, 2016; Cichy, 


202303.09636v1 


chinaXiv 


ChinaXiv 合 作 期 刊 


第 2 期 陈 新 文 等 : 探究 事件 相关 脑 电 / 脑 磁 信 号 中 的 神经 表征 模式 185 
A 
B — EEG n-RDMs vs b-RDM 


数据 来 源 的 不 同 ,可 以 从 
的 数据 来 构建 对 应 的 神经 


fNIRS, EEG 


常人 群 (年 轻 人 、 婴 幼儿 、 


类 别 的 群体 


人 类 EEG n-RDMs 


All MEG 等 站 


b-RDM 


— EEG n-RDMs vs fMRI n-RDM 
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图 7 (A)RDM 的 来 源 广泛 , 它 可 以 在 一 个 公共 的 表征 空间 内 桥接 不 同类 型 的 数据 ， 如 ， 跨 类 别 的 数据 (左上 ): 根据 
胶 活 动 记录 、 行为 测量 、 计 
RDM、 行 为 RDM、 模 型 RDM; 跨 模 态 的 数据 (右上 ): 根据 神经 活动 记录 方式 (如 fMRI, 
不同， 可 以 构建 不 同 特点 的 神经 RDM; 跨 群 体 的 数据 (左下 ): 构建 RDM 的 数据 可 以 从 正 


建 模 甚至 人 工 神经 网 络 (artificial neural networks, ANN) 中 获得 


老年 人 )、 疾 病人 群 (孤独 四 


P 获 取 ; 跨 脑 


E、 阿 尔 兹 海 默 症 等 ) 甚 至 非 人 类 物种 (小 和 白鼠、 猴子 等 ) 这 些 不 同 


区 的 数据 ( 右 下 ): 还 可 以 根 


据 研究 者 所 关注 的 问题 来 构建 不 同 脑 区 所 对 应 的 神经 RDM。 (B) 


将 逐 时 间 点 构建 的 EEG/MEG n-RDMs 与 其 它 来 源 的 RDM 进行 比较 , 可 以 根据 RDM 的 来 源 在 时 程 上 从 不 同 的 角度 
对 刺激 条 件 之 间 的 神经 表征 相似 性 进行 探讨 。 例 如 ,将 不 同 刺激 条 件 下 根据 人 类 EEG 活动 构建 的 逐 时 间 点 n-RDMs 
分 别 与 根据 行为 表现 和 猴子 特定 脑 区 BOLD 响应 信号 构建 的 b-RDM fMRIn-RDM 进行 比较 , 能够 得 到 (C) 所 示 的 相 


似 度 曲线 ,可 以 直观 地 展现 神经 活动 与 行为 表现 之 间 的 一 致 性 , 以 及 不 同 物种 之 间 对 于 相同 刺激 信息 编码 的 一 致 性 。 


Khosla, et al., 2017; Redcay & Carlson, 2015; et al., 2019; Kong et al., 2020; Xie et al., 2020). 无 
Cichy & Pantazis, 2017; Guggenmos et al., 2018; 论 是 计算 n-RDM 还 是 b-RDM， 上 述 过 程 可 以 在 
Sankaran et al., 2018; Dobs et al., 2019; Grootswagers 所 有 被 试 上 重复 进行 ， 并 得 到 一 个 组 平均 水 平 的 
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RDM (Kriegeskorte, Mur, & Bandettini, 2008; Nili 
et al., 2014)。 需 要 注意 的 是 ,在 选择 相似 性 /差异 
性 度量 方式 时 ， 要 根据 原始 数据 的 特点 找到 一 个 
最 合适 的 度量 方式 ; 同时 建议 在 构建 RDM 前 对 
和 矩阵 内 部 的 所 有 数值 均 被 进行 归 一 化 处 理 ， 以 降 
低 数据 中 的 噪声 带 来 的 影响 (Walther et al., 2016; 
Guggenmos et al., 2018; Popal et al., 2019)。 

除了 n-RDM 与 b-RDM 外 ,根据 研究 的 需求 
有 时 还 要 建立 包括 计算 模型 和 概念 模型 在 内 的 模 
型 RDM (简称 m-RDM), 它 是 研究 者 根据 图 像 属 
性 、 计 算 建 模 或 者 概念 属性 创建 的 理论 RDM, 用 
于 探索 不 同 神经 表征 对 应 的 时 程 、 脑 区 、 加 工 模 
式 等 信息 。m-RDM 可 以 来 自 计 算 模 型 ,包括 简单 
计算 模型 和 复杂 计算 模型 。 其 中 ,简单 计算 模型 
主要 由 实验 刺激 图 片 的 各 种 物理 属性 构成 , 例如 
图 像 的 低 通 dow-pass) 和 高 通 (high-pass) 滤 波 、 色 
度 (colour) .亮度 (luminance)、 客 体 的 轮廓 (silhouette)、 
Lab 色彩 空间 中 的 数字 图 像 以 及 图 像 的 Lab 联合 
直方 图 等 ,用 于 量化 低 水 平视 觉 差 异 对 神经 异 质 
性 的 贡献 。 而 复杂 计算 模型 中 RDM 的 值 是 通过 
一 些 算法 或 者 函数 得 到 的 ， 主 要 用 于 更 有 理论 动 
机 的 计算 , 来 模拟 某 些 大 脑 信息 加 工 过 程 ， 如 视 
觉 加 工 的 V1-HMAX 模型 、 视 网 膜 包 络 模型 
(retinal envelope model) 等 (Kriegeskorte, Mur, & 
Bandettini, 2008; Wardle et al., 2016)。 模 型 也 可 以 
是 概念 性 的 ， 概 念 模型 主要 强调 了 不 同 刺 激 之 间 
基于 某 一 特定 属性 的 差异 , 例如 动物 、 植 物 、 人 
造物 品 等 类 别 属性 , 或 者 有 生命 、 无 生命 等 语义 
属性 ( 见 图 4A 根据 动 植物 类 别 属性 构建 的 概念 模 
型 RDM)。 概 念 模型 假设 在 给 定 的 脑 区 和 时 程 内 
只 能 表征 特定 的 信息 (例如 区 分 动 植物 的 神经 活 
ON), 且 可 以 从 无 关 信 息 中 抽取 出 来 ,同时 不 必 说 
明 该 表征 是 如 何 计算 得 到 的 ， 所 以 可 以 基于 刺激 
之 间 的 假定 关系 来 创建 RDM。 例如 对 面孔 进行 感 
知 的 过 程 中 , 大 脑 可 能 会 对 性 别 、 年 龄 、 熟 悉 性 、 
身份 、 种 族 等 不 同 的 信息 进行 表征 ， 此 时 对 于 面 
孔 的 表征 是 非特 定 于 某 一 属性 的 ,但 是 我 们 依旧 
可 以 使 用 基于 假设 创建 出 的 m-RDM 与 实际 的 


诱发 出 的 不 同 大 脑 活动 模式 相 匹 配 。 
4.2.2 比较 RDM 

根据 研究 问题 构建 完 所 需 的 RDM 后 ,下 一 
步 则 是 在 每 名 被 试 内 部 对 上 述 不 同 来 源 的 n-RDM 、 
b-RDM、m-RDM 进行 定量 比较 , 常用 的 比较 方法 
主要 为 相关 距离 ,如 Spearman 相关 、Pearson tH 
关 或 Kendall’s tau #4 (Kriegeskorte, Mur, & 
Bandettini, 2008; Carlson et al., 2013; Cichy et al., 
2014, 2016; Cichy, Pantazis, & Oliva, 2016; Cichy, 
Kriegeskorte, et al., 2017; Cichy, Khosla, et al., 
2017; Nili et al., 2014; Cichy & Pantazis, 2017; 
Kietzmann et al., 2017; Guggenmos et al., 2018; 
Sankaran et al., 2018; Teichmann et al., 2018; Dobs 
et al., 2019; Kong et al., 2020; Xie et al., 2020), — 
般 情 况 下 ， 除 非 有 非常 充分 的 理由 ， 和 否则 假设 不 
同 的 RDM 之 间 存 在 着 线性 匹配 关系 往往 是 不 够 
合理 的 ， 因 为 RDM 中 存在 的 噪声 受到 其 来 源 影 
响 ， 所 以 在 实际 研究 中 更 建议 研究 者 使 用 等 级 相 
关 距 离 ( 例 如 Spearman 等 级 相关 系数 和 Kendall 
等 级 相关 系数 ) 的 方式 来 量化 不 同 RDM 之 间 的 一 
致 性 (Kriegeskorte, Mur, & Bandettini, 2008; 
Kriegeskorte et al., 2013; Nili et al., 2014; Popal et 
al., 2019)。 还 需 注意 的 是 , 在 比较 不 同 的 RDM 时 ， 
由 于 和 矩阵 是 按照 对 角 线 对 称 的 , 为 了 防止 错误 地 
增加 RDM 之 间 的 相关 性 , 一 般 要 排除 矩阵 对 角 
线 上 的 数值 ， 并且 只 选取 对 角 线 上 (或 下 ) 半 部 分 
三 角形 内 的 值 进行 分 析 (Ritchie et al., 2017; Lu & 
Ku, 2020; Weaverdyck et al., 2020)。 

对 于 高 时 间 分 辩 率 的 EEG/MEG 数据 ,可 以 
根据 每 个 时 间 点 包含 的 信息 或 者 用 于 区 分 两 种 刺 
激 类 型 之 间 差 异 的 解码 正确 率 来 构建 逐 时 间 点 的 
n-RDMs, 并 与 其 它 来 源 的 RDMs 进行 比较 ,进而 
探究 不 同 来 源 的 RDMs 之 间 的 相似 性 是 如 何 随 着 
时 间 推 移 而 变化 的 (图 4B、 图 7B、 图 7C), 帮助 
人 们 在 时 间 维 度 上 更 好 地 理解 表征 信息 的 编码 加 
工 情况 (Carlson et al., 2019)。 比 如 ,将 不 同 的 概念 
m-RDMs 与 逐 时 间 点 构建 的 EEG/MEG n-RDMs 
进行 比较 ， 可 以 探索 大 脑 对 于 不 同 刺 激 之 间 某 一 


n-RDM 或 者 b-RDM 进行 比较 , 将 特定 的 表征 信 
息 给 抽 提 出 来 (Kriegeskorte, Mur, & Bandettini, 
2008; Popal et al., 2019)。 因 此 , 假设 构建 的 模型 
能 够 真实 反映 出 大 脑 是 如 何 表征 不 同 刺激 信息 的 ， 
那么 模型 生成 的 刺激 间 差 异性 就 可 以 与 实际 刺激 


特定 属性 差异 的 表征 时 程 (例如 , 动 植物 分 类 的 神 
经 机 制 从 何 时 开始 ; Sankaran et al., 2018; Dobs et 
al., 2019); 将 b-RDMs 与 逐 时 间 点 构建 的 EEG/MEG 
n-RDMs 进行 比较 , 可 以 探索 特定 刺激 条 件 下 行 
为 表现 与 神经 活动 的 一 致 性 (例如 ， 哪 个 时 间 段 的 
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ERPs/ERMFs 活动 可 以 解释 行为 上 的 动 植 物 识别 
能 力 ; Redcay & Carlson, 2015; Cichy, Kriegeskorte, 
et al., 2017; Dobs et al., 2019); 将 基于 不 同感 兴趣 
区 (region of interest, 简称 ROD 的 BOLD 响应 信号 
构建 的 fMRI-n-RDMs 与 逐 时 间 点 构建 的 
EEG/MEG n-RDMs 进行 比较 ， 可 以 揭示 某 一 持续 
神经 活动 的 皮层 来 源 (例如 ， 与 动 植物 识别 有 关 的 
ERPs/ERMFs 活动 来 自 哪 个 大 脑 皮 层 区 域 ; Cichy 
et al., 2014, 2016; Cichy, Pantazis, & Oliva, 2016; 
Cichy & Pantazis, 2017). 
4.2.3 ”统计 推断 和 模型 评估 

检验 两 个 RDM 之 间 的 相关 性 主要 采用 随机 
化 的 方法 : 将 RDM 和 矩阵 的 刺激 条 件 标 签 随机 化 ， 
根据 随机 化 的 结果 对 两 个 矩阵 中 的 一 个 进行 重新 
排序 ， 得 到 一 个 新 的 RDM, 并 将 其 与 未 进行 随机 
排序 的 RDM 进行 比较 , 计算 新 的 差异 性 度量 。 大 
量 重复 该 过 程 ( 例 如 5000 次 ), 将 生成 一 个 置换 分 
布 ,用 于 模拟 两 个 RDM 不 相关 的 零 假 设 ; 把 实际 
相关 性 与 生成 的 置换 分 布 进行 比较 ,找到 其 在 该 
分 布 中 的 位 置 ， 并 计算 p 值 ， 从 而 比较 两 个 RDM 
之 间 是 否 显著 相关 (Kriegeskorte, Mur, & Bandettini, 
2008; Kriegeskorte & Kievit, 2013; Nili et al., 2014; 
Walther et al., 2016; Popal et al., 2019). 

进行 群体 水 平 的 统计 分 析 则 是 使 用 群体 水 平 
的 相似 度 和 相似 度 为 0 的 水 平 之 间 的 差异 进行 显 
著 性 检验 ， 如 果 涉 及 到 逐 时 间 点 的 相似 度 检 验 ， 
同样 需要 对 检验 结果 进行 校正 (具体 的 检验 方法 
及 校正 方法 可 参照 3.2.4 节 )。 除 了 在 统计 水 平 上 
检验 RSA 的 结果 是 否 显著， 还 需要 根据 数据 的 噪 
声 水 平 计算 每 个 时 间 点 上 相应 的 噪声 上 限 (noise 
ceiling, 具体 计算 方法 请 参考 Nili et al., 2014), 并 
将 其 定义 为 真实 模型 可 能 获得 的 最 高 相关 性 ， 以 
评估 模型 的 好 坏 以 及 实验 的 局 限 性 (Wardle et al., 
2016; Grootswagers et al., 2017; Kietzmann et al., 
2017; Pantazis et al., 2018; Sankaran et al., 2018; 
Teichmann et al., 2018; Greene & Hansen, 2018; 
Dobs et al., 2019; Kong et al., 2020). 
43 基于 RSA 的 衍生 方法 

时 间 泛 化 方法 中 跨 时 域 解码 的 思路 同样 可 以 

E 广 到 基于 EEG/MEG 数据 的 RSA 方法 中 以 进行 
跨 时 域 比较 , 具体 做 法 有 如 下 两 种 : 

(1) 跨 时 域 RSA。 同 样 根据 4.2.1 小 节 的 计算 
方式 直接 使 用 EEG/MEG 数据 计算 不 同 条 件 在 任 


意 两 个 时 间 点 如 和 人 上 的 神经 表征 相似 性 ， 进 行 逐 
点 比较 后 得 到 跨 时 域 RSA 泛 化 矩阵 ; 或 者 使 用 
EEG/MEG 数据 构建 逐 时 间 点 的 n-RDM 后 ,将 任 
意 两 个 时 间 点 如 和 人 对 应 的 n-RDM 直接 比较 得 到 
跨 时 域 RSA 泛 化 矩阵 (Lu & Ku, 2020; Lu, 2020). 
该 做 法 类 似 于 跨 时 域 解码 ， 可 以 对 不 同 条 件 之 间 
的 模式 差异 进行 比较 。 

(2) 动 态 RSA。 假设 一 共有 Nime MITER, A 
据 4.2.1 小 节 的 计算 方式 对 任意 两 个 时 间 点 tt 和 忆 
的 EEG/MEG 数据 进行 计算 并 得 到 跨 时 域 RDMti; 
通过 对 不 同 的 时 间 点 成 对 计算 , 最 终 将 得 到 N aime 
Name 个 跨 时 域 RDMs, 再 逐个 与 其 它 来 源 的 RDMs 
进行 比较 , 会 得 到 跨 时 域 动态 比较 后 的 RSA 泛 化 
和 矩阵， 进而 说 明 不 同 来 源 RDMs 之 间 的 相似 性 在 
时 域 上 的 泛 化 情况 (Cichy et al., 2014; Lu, 2020)。 


5 应 用 场景 


在 认 知 神经 科学 的 研究 中 ,利用 解码 分 析 和 
RSA 方法 , 能够 使 人 们 对 神经 表征 的 模式 与 特点 
有 更 深入 的 理解 ,本 章节 将 结合 已 有 的 EEG/MEG 
研究 ， 对 解码 分 析 和 RSA 的 应 用 场景 进行 简单 的 
介绍 。 

5.1 解析 不 同 的 认 知 加 工 过 程 

得 益 于 解码 分 析 的 高 敏感 性 ,研究 者 能 够 对 
感知 觉 (Wardle et al., 2016; Ronconi et al., 2017; 
Collins et al.，2018)、 注 意 (Kaiser, Oosterhof, & 
Peelen, 2016; Fahrenfort, Grubert, et al., 2017; 
Alilović et al., 2019), if X (Correia et al., 2015; 
Heikel et al., 2018), id tZ(Bae & Luck, 2018, 2019a; 
Linde-Domingo et al.，2019) 等 内 容 进 行 解析 ， 探 
究 不 同 刺激 条 件 和 认 知 状态 下 的 神经 表征 差异 。 
例如 , 在 Bae 和 Luck (2018) 一 项 关于 空间 注意 和 
工作 记忆 的 研究 中 ,成 功 地 从 ERPs 响应 和 alpha 
振荡 活动 中 解码 出 了 低级 视 皮层 对 16 个 刺激 朝 
向 与 16 个 刺激 位 置 组 合 的 加 工 ， 获得 了 传统 分 析 
方法 难以 得 到 的 精细 结果 。 这 也 反应 了 解码 分 析 
的 部 分 场景 : 由 于 个 体 差 异 的 存在 ， 如 皮层 裙 皱 
的 差异 会 导致 不 同 被 试 对 于 同一 刺激 表现 的 头 
ERPs 活动 模式 不 一 样 , 但 是 不 同 刺激 诱发 产生 的 
ERPs 活动 模式 在 个 体内 稳定 ， 因 此 与 早期 视 皮层 
相关 的 活动 成 分 可 以 用 解码 分 析 进 行 区 分 。 解 码 
分 析 可 以 帮助 我 们 对 不 同 的 大 脑 活 动 模式 进行 提 
取 和 学 习 ， 并 对 结果 进行 预测 ， 从 而 对 不 同 认 知 
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状态 下 的 神经 表征 进行 解析 。 

此 外 , 由 于 RSA 的 特点 之 一 便 是 能 够 对 不 同 
时 程 、 不 同 模 态 之 间 的 数据 进行 计算 和 比较 , 借 
助 RSA 我 们 可 以 对 大 脑 的 认 知 活动 有 更 为 深刻 的 
认识 。 例如 ,在 一 项 面孔 的 MEG 研究 中 , Dobs 等 
人 (2019) 将 逐 时 间 点 构建 的 n-RDMs 与 根据 不 同 
概念 (性 别 ,年龄 .身份 .熟悉 度 ) 提 出 来 的 m-RDMs 
进行 比较 , 探索 了 不 同时 程 的 n-RDMs 与 不 同 的 


性 神经 表征 和 现实 事件 在 时 间 上 尽 可 能 保持 同 
步 。 该 研究 通过 巧妙 的 实验 设计 和 时 间 泛 化 方法 
有 力 地 闸 明 了 特定 的 神经 表征 是 怎样 随 着 时 间 的 
推移 而 发 生 改变 的 。 和 凭借 EEG/MEG 高 时 间 分 辩 
率 的 特点 ， 能 够 为 研究 提供 神经 活动 的 时 序 特征 ， 
进而 为 大 脑 在 对 信息 编码 加 工 过 程 中 的 变化 情况 
给 出 一 定 的 参照 依据 (Blom et al., 2020). 

基于 时 间 泛 化 方法 跨 时 域 解码 的 思路 ，RSA 


m-RDMs 之 间 的 相似 性 , 为 不 同 面孔 信息 的 加 工 
顺序 提供 了 新 的 证 据 (Dobs et al., 2019)。 在 一 项 视 
知觉 研究 中 , Greene 和 Hansen (2018) 提 取 了 经 过 
预先 训练 的 深度 卷 积 神经 网 络 (deep convolutional 
neural network, 简称 DCNN) 中 , 不同 层次 的 网 络 
对 于 每 张 刺激 图 片 的 激活 情况 ,并 创建 了 与 每 层 
网 络 相 对 应 的 RDM; 同时 在 每 个 时 间 点 上 根据 人 
类 被 试 特定 通道 的 EEG 数据 创建 了 n-RDM。 研 
究 者 通过 比较 DCNN 每 层 网 络 的 RDM 与 人 类 被 
试 的 n-RDM, 发 现在 相同 的 视觉 场景 分 类 任务 中 ， 
DONN 的 各 个 层次 的 网 络 与 人 类 视觉 系统 处 理 各 
个 层级 之 间 存 在 着 对 应 关系 ， 如 浅 层 的 DCNN 最 
能 预测 0~200 ms 的 早期 ERPs 活动 ， 而 深层 的 
DCNN 最 能 预测 225 ms 左右 相对 晚期 的 ERPs 活 
动 ， 这 也 为 深入 理解 计算 机 模型 与 人 类 视觉 系统 
之 间 的 关联 提供 了 一 个 新 的 角度 (Greene & Hansen， 
2018)。 作 为 一 种 原理 简单 、 学 习 成 本 低 的 分 析 方 
TE, RSA 也 为 我 们 更 深入 地 理解 大 脑 认 知 加 工 过 
程 提 供 了 助力 。 
5.2 ”提供 神经 活动 的 时 间 动 态 特 征 

EEG/MEG 的 优势 之 一 是 可 以 对 神经 活动 进 
行 实 时 测量 ， 因 此 结合 时 间 泛 化 方法 能 够 探究 信 
息 加 工 的 动态 表征 过 程 。Dijkstra (2018) 和 Xie 


=> 


在 此 基础 上 也 可 以 采用 跨 时 域 比 较 的 方法 来 探究 
神经 表征 加 工 的 动态 过 程 。Cichy 等 人 (2014) 在 一 
项 探索 人 脑 对 视觉 客体 加 工 的 时 空 表征 研究 中 ， 
在 相同 的 刺激 条 件 下 采集 了 MEG 信号 和 fMRI 信 
号 , 首先 根据 MEG 信号 计算 了 不 同 刺 激 对 的 时 
间 泛 化 和 矩阵， 利用 时 间 泛 化 矩阵 上 每 对 时 间 点 组 
合 的 解码 正确 率 构建 了 MEG n-RDMSs， 再 分 别 基 
于 初级 视 皮 层 (V1) 和 下 闫 叶 皮 层 (interotemporal 
cortex， 简 称 IT) 的 体 素 激活 值 构 建 了 不 同 ROI 的 
fMRI n-RDMs, 并 将 不 同时 刻 的 MEG n-RDMs 与 不 
同 脑 区 的 fMRI n-RDMs 进行 比较 , 发 现在 ~100 ms 
和 ~200-1000 ms 的 MEG n-RDMs 与 fMRI 的 V1l 
n-RDM 显著 相关 ， 在 ~250 ms 至 ~500 ms 的 MEG 
n-RDMs 与 fMRI 的 IT n-RDM 显著 相关 ， 这 提示 
视觉 系统 的 不 同 区 域 在 视觉 信息 加 工 的 不 同 阶段 
提供 了 瞬时 或 者 持久 的 神经 活动 。 研 究 者 利用 
RSA 将 高 时 间 分 辨 率 的 MEG 信号 与 高 空间 分 辨 
率 的 fMRI 信号 结合 起 来 , 揭示 了 不 同 测量 方法 
下 共同 的 神经 表征 ， 对 特定 神经 活动 的 持续 时 间 
和 皮层 来 源 进 行 了 识别 , 在 时 间 和 空间 上 为 人 类 
视觉 客体 加 工 过 程 提 供 了 一 个 完整 的 分 辩 视 图 
(Cichy et al., 2014)。 将 解码 分 析 及 其 衍生 方法 和 
RSA 引入 对 时 间 进 程 更 加 关注 的 EEG/MEG 研究 


(2020) 等 研究 者 利用 时 间 泛 化 方法 对 视 知觉 与 视 
觉 想 象 的 共享 神经 机 制 进行 了 探索 。 人 研究 者 使 用 知 
觉 任 务 下 的 信号 进行 训练 来 测试 想象 任务 下 的 信 
号 ,以 及 使 用 想象 任务 下 的 信息 训练 来 测试 知觉 
任务 下 的 信号 , 发 现在 特定 时 间 、 频 率 上 ,知觉 和 
想象 之 间 确 实 存在 着 共享 神经 表征 的 情况 (Dijkstra 
et al., 2018; Xie et al., 2020)。Blom 等 人 (2020) 利 
用 时 间 泛 化 方法 对 视觉 的 预期 机 制 进行 了 研究 ， 
实验 人 员 发 现 预 期 机 制 能 够 在 外 界 视觉 信息 实际 
到 达 之 前 ， 预 先 激活 通常 由 感官 输入 信息 驱动 的 
神经 表征 ,表明 大 脑 可 以 对 外 界 信息 在 接收 过 程 
中 造成 的 神经 传递 延迟 进行 补偿 , 使 得 刺激 特异 


之 中 ,前 景 十 分 广阔 。 
5.3 ”定位 神经 表征 的 空间 起 源 

追踪 神经 表征 的 时 空 特征 一 直 是 认 知 神经 科 
学 研究 中 的 热点 。 经 典 的 EEG/MEG 研究 中 ,常用 
的 空间 定位 方法 有 利用 算法 进行 源 重建 (Michel et 
al., 2004; Sato et al., 2004) 或 者 结合 高 空间 分 辨 率 
的 fMRI 进行 联合 记录 (Huster et al., 2012; Scrivener, 
2021), 这 些 方法 在 实际 研究 中 都 取得 了 不 错 的 成 
效 。 随 着 解码 分 析 的 不 断 普及 , 一 些 用 于 追踪 解 
码 信息 来 源 的 方法 (如 逐 通 道 的 解码 分 析 / 探 照 灯 
分 析 、 权 重 投影 ) 也 逐渐 兴起 ,使 研究 者 在 EEG/ 
MEG 研究 中 定位 认 知 活动 的 空间 起 源 有 了 更 多 
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的 选择 。 利 用 逐 通道 的 探照灯 分 析 技 术 ，Giari 等 
人 (2020) 利 用 MEG 对 文字 和 图 片 的 神经 表征 空间 
特性 进行 了 研究 ， 发 现 当 表达 的 概念 信息 相似 时 ， 
文字 和 图 片 的 表征 涉及 到 了 不 同 的 脑 区 。 在 
Fahrenfort 和 van Leeuwen 等 人 (2017) 一 项 关于 知 
觉 整合 的 研究 中 , 实验 人 员 对 分 类 咒 的 特征 权重 
进行 变换 并 将 重 构 得 到 的 激活 模式 映射 到 地 形 图 
E, 发 现 视 皮层 的 知觉 整合 效应 在 枕 区 附近 最 强 
烈 。 许 多 研究 也 表明 , EEG/MEG 信号 中 都 包含 了 
能 够 解码 认 知 状态 的 空间 信息 ， 因 此 解码 分 析 是 
可 以 利用 不 同 水 平 上 的 空间 编码 信息 来 定位 神经 
活动 的 空间 起 源 (Cichy et al., 2016; Cichy, Pantazis, 
& Oliva, 2016; Cichy, Khosla, et al., 2017; Cichy & 
Pantazis，2017)， 并 且 使 用 解码 分 析 技 术 得 到 的 权 
重 值 和 正确 率 具 有 统计 学 意义 ， 它 也 为 EEG/MEG 
信号 的 空间 起 源 定位 提供 了 一 些 新 的 视角 。 
由 于 RSA 可 以 将 EEG/MEG 数据 与 其 它 来 源 
的 数据 进行 联结 , 因此 RSA 也 为 EEG/MEG 研究 
提供 了 追踪 神经 表征 空间 特征 的 方法 ,Cichy 等 人 
(2014) 使 用 RSA 对 视觉 客体 识别 过 程 中 人 类 大 脑 
皮层 的 时 空 动力 学 进行 了 研究 , 研究 人 员 假 设 对 
于 不 同时 间 、 空 间 分 辨 率 的 MEG 和 fMRI 数据 来 
说 ， 相 同 的 刺激 应 具有 同样 的 神经 起 源 ， 因 此 会 
具有 相似 的 神经 表征 。 基 于 上 述 假设 ， 研 究 者 构 
造 了 基于 每 个 时 间 点 的 MEG n-RDMs 和 基于 不 同 
ROI 的 fMRI n-RDMSs， 并 将 其 分 别 比 较 ， 以 寻找 
客体 识别 过 程 中 MEG 信号 的 皮层 来 源 , 在 毫秒 
级 和 毫米 级 水 平 上 揭示 了 人 脑 视觉 客体 识别 过 程 
中 的 神经 动力 学 (Cichy et al., 2014; Cichy, Pantazis, 
& Oliva, 2016; Cichy & Pantazis, 2017). 


6 小 结 与 展望 


相 比 于 传统 的 EEG/MEG 分 析 方 法 ， 解 码 分 
析 和 RSA 能 够 帮助 研究 者 根据 个 体 独 有 的 大 脑 活 
动 模式 来 理解 信息 编码 加 工 的 时 程 ,在 保留 个 体 


= 


ll 


尽管 解码 分 析 和 RSA 两 种 分 析 技术 在 fMRI 
研究 中 已 经 相当 的 成 熟 ， 甚 至 解码 分 析 都 已 经 在 
脑 机 接口 (brain computer interface, BCT) 领 域 中 得 
到 了 广泛 的 应 用 , 但 是 直到 最 近 几 年 才 在 EEG/ 
MEG 领域 用 于 研究 认 知 加 工 活动 ,值得 一 提 的 是 ， 
从 现 有 的 成 果 来 看 , 虽然 起 步 时 间 相 对 较 晚 ， 但 
在 利用 EEG/MEG 开展 的 各 类 认 知 神经 科学 研究 
中 解码 分 析 和 RSA 都 有 着 不 俗 的 表现 ,并 且 随 着 
研究 者 们 的 不 断 推 动 以 及 两 种 技术 在 EEG/MEG 
研究 中 日 益 普 及 ， 目 前 也 有 许多 非常 成 熟 的 开源 
工具 箱 供 研究 者 们 使 用 : 在 MATLAB 环境 下 ， 有 
CoSMoMVPA (Oosterhof et al., 2016). the Decision 
Decoding Toolbox (Bode et al., 2019), the Amsterdam 
Decoding & Modeling Toolbox (Fahrenfort et al., 
2018) 和 MVPA-Light (Treder, 2020)“; 在 Python 
环境 下 ,有 the PyMVPA toolbox (Hanke et al., 
2009) . MNE-Python (Gramfort et al., 2013), 
NeuroRA (Lu & Ku, 2020) 和 PyCTRSA (Lu, 2020) 
等 ; 其 中 CoSMoMVPA fil NeuroRA 具有 丰富 的 模 
块 同时 支持 对 EEG/MEG 与 fMRI 开展 基于 分 类 的 
解码 和 RSA 分析。 这 些 工具 箱 功 能 强大 ， 能 够 在 
不 同 的 开发 环境 下 实现 EEG/MEG 的 各 种 解码 分 
析 和 RSA Wik, 使 用 者 可 以 根据 自己 的 需求 和 编 
程 习惯 灵活 选择 。 

不 可 否认 ,作为 EEG/MEG 领域 的 新 兴 方 法 ， 
解码 分 析 和 RSA 在 实际 使 用 的 过 程 中 也 存在 一 定 
的 局 限 性 , 例如 ,解码 分 析 和 RSA 很 大 程度 上 是 
数据 驱动 的 计算 建 模 方 法 , 缺乏 足够 的 理论 假设 
约束 ， 要 获得 稳定 可 靠 的 结果 对 数据 质量 的 要 求 
非常 高 ; 两 种 方法 的 计算 量 都 远大 于 传统 的 EEG/ 
MEG 分 析 方 法 ， 要求 较 高 的 计算 机 硬件 和 更 多 的 
运算 时 间 ; RSA 需要 足够 的 条 件数 来 获取 信服 的 
相关 性 结果 ， 因 此 并 非 所 有 的 实验 设计 都 适合 该 
方法 ; 基于 相关 方法 的 RSA 在 不 同 的 模型 上 进行 
统计 检验 还 有 一 定 的 限制 , 容易 受到 异常 值 带 来 


异 的 同时 对 不 同 个 体 共有 的 一 致 性 规律 进行 
提 ， 这 种 特点 可 以 应 用 于 很 多 涉及 复杂 场景 的 实 
验 研 究 中 ,为 复杂 刺激 环境 中 的 认 知 加 工 机 制 研 
究 提 供 了 一 个 新 颖 有 意义 的 途径 。 重 要 的 是 ， 解 
码 分 析 和 RSA 的 出 现 并 不 是 为 了 替代 传统 的 
EEG/MEG 分 析 方 法 ， 而 是 对 已 有 的 方法 进行 补 
充 ， 从 多 角度 对 不 同心 智 活动 下 的 神经 表征 差异 
进行 探讨 。 


的 影响 ， 并且 相关 分 析 自 身 的 缺陷 对 于 RSA 的 影 
响 也 是 无 法 避免 的 (Popal et al., 2019); 解码 分 析 
需要 大 量 的 试 次 用 于 分 类 器 的 训练 ， 以 学 习 不 同 
条 件 之 间 细 微 的 差别 ; 与 传统 的 EEG/MEG 分 析 
方法 类 似 ， 随 着 解码 过 程 中 用 于 统计 的 通道 数 增 
多 ,也 可 能 会 导致 更 容易 得 到 显著 的 结果 ， 从 而 
难 区 分 显著 的 究竟 是 信号 还 是 噪音 ; 在 解码 分 析 
的 各 个 阶段 ， 对 数据 进行 哪些 处 理 、 选 择 什么 分 
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类 器 和 参数 、 怎 样 对 得 到 的 结果 进行 检验 和 校正 ， 
不 同 的 研究 者 往往 会 根据 自己 的 经 验 和 实验 目的 
进行 具体 方法 的 选择 ， 有 时 甚至 通过 反复 筛选 来 
得 到 最 优 的 效果 ， 即便 文 中 已 经 对 不 同 的 方法 进 
行 了 介绍 , 但 是 目前 还 无 法 提供 一 套 可 供 不 同 研 
究 重 复 参考 的 标准 ， 因 此 解码 分 析 不 仅 对 使 用 者 
的 先 验 知识 提出 了 较 高 的 要 求 , 还 有 一 定 的 可 能 
导致 得 到 的 结果 在 可 重复 性 和 可 靠 性 上 无 法 令 人 
信服 。 

解码 分 析 和 RSA 作为 目前 EEG/MEG 领域 分 
析 方 法 中 的 后 起 之 秀 , 为 我 们 理解 大 脑 的 认 知 加 
工 过 程 提 供 了 一 些 新 的 方法 与 思路 。 虽 然 在 目前 
的 EEG/MEG 研究 中 这 两 种 技术 还 处 于 起 步 阶段 ， 
但 是 随 着 方法 学 的 不 断 发 展 , 它们 仍然 有 着 巨大 
的 潜力 与 广阔 的 应 用 场景 。 我 们 认为 在 今后 的 研 
究 中 ， 以 下 方向 是 值得 探究 的 : 

第 一 个 方向 是 可 供 不 同 研究 重复 参考 的 分 析 
流程 。 目 前 已 有 的 研究 中 , 研究 者 们 更 多 的 是 依 
赖 于 主观 经 验 来 使 用 解码 分 析 和 RSA， 而 不 像 传 
统 的 EEG/MEG 分 析 , 按照 一 套 标 准 的 操作 规范 
来 处 理 数 据 。 以 解码 分 析 为 例 ， 数据 预 处 理 、 归 
一 化 、 降 维 、 分 类 器 选择 、 交 叉 验 证 、 性 能 评估 
等 都 提供 了 许多 种 行 之 有 效 的 操作 ， 对 于 同一 批 
实验 数据 而 言 有 非常 多 的 处 理 方法 组 合 。 这 可 能 
会 导致 研究 人 员 受 到 主观 经 验 偏好 的 影响 ， 在 数 
据 分 析 过 程 中 选择 了 不 恰当 的 处 理 方法 ， 使 得 最 
终 得 到 的 结果 解释 性 不 强 。 在 未 来 的 研究 中 ， 针 
对 不 同 数据 的 特点 以 及 各 类 方法 最 适宜 的 使 用 场 
景 ， 制 定 一 套 完善 、 可 供 重 复 参 考 的 数据 分 析 流 
程 ， 这 对 于 解码 分 析 和 RSA 的 普及 是 有 好 处 的 。 

第 二 个 方向 是 不 同 分 析 方 法 之 间 的 结合 。 目 
前 已 经 有 研究 者 将 解码 分 析 得 到 的 解码 正确 率 来 
代替 进行 RSA 时 使 用 到 的 度量 指标 ， 以 在 不 同 的 
时 间 点 上 构建 基于 解码 正确 率 的 RDM。 考虑 到 在 
EEG/MEG 人 研究 中 ,解码 分 析 还 存在 着 许多 衍生 
方法 ,怎样 把 这 些 方 法 与 RSA 有 机 结合 起 来 ， 实 
现 跨 时 域 、 跨 任务 /状态 对 不 同时 间 、 条 件 下 的 神 
经 表征 模式 相似 程度 进行 比较 , 这些 都 是 在 未 来 
的 研究 中 值得 去 进一步 思考 的 。 此 外 ,本文 涉 及 
的 解码 分 析 所 使 用 的 模型 是 一 种 后 向 解码 模型 
(backward decoding model, BDM), “49 RSA 并 不 
关注 EEG/MEG 信和 号 是 如 何 从 大 脑 中 生成 的 ， 更 
多 地 是 为 了 区 分 不 同 条 件 下 脑 活动 之 间 的 神经 表 


征 差异 (用 解码 正确 率 和 不 相似 度 来 衡量 )。 近 年 来 
在 EEG/MEG 领域 还 发 展 了 一 些 诸如 群 感受 野 
(population receptive field, pRF; Dumoulin & 
Wandell, 2008; Wandell & Winawer, 2015), Ait pE} Ay 
应 函数 (temporal response function, TRF; Crosse et 
al., 2016)、 反 向 编码 模型 (inverted encoding model, 
IEM; Sprague et al., 2015) 等 新 方法 ,它们 基于 强 
理论 假设 , 通过 不 同 的 建 模 方法 从 数据 生成 的 角 
度 来 对 神经 元 的 响应 特性 进行 模拟 ， 以 此 来 解释 
不 同 信号 之 间 的 异同 (不 同 的 模型 对 应 不 同 信号 
的 来 源 ， 用 模型 的 异同 来 解释 信号 来 源 的 异同 )。 
不 同类 型 的 方法 有 着 各 自 的 长 处 与 短 板 ， 如 何 将 
这 些 方法 有 机 的 结合 起 来 以 实现 更 好 的 分 析 效 果 ， 
也 是 值得 探索 的 方向 。 
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Exploring the neural representation patterns in event-related EEG/MEG 
signals: The methods based on classification decoding and 
representation similarity analysis 
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Abstract: Exploring the differences of neural representations under various mental activities is one of the 
core issues in cognitive neuroscience. The early analysis methods of EEG/MEG mainly focused on the level 
of the neural responses after group averaging, which requires that each subject have high consistency in the 
amplitude and direction of ERPs/ERMFs, and the distribution and polarity of the topographic map under the 


same stimulant conditions. In recent years, researchers have introduced two techniques commonly used in 
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fMRI studies, classification algorithms in machine learning (i.e., classification-based decoding) and 
representation similarity analysis, into the EEG/MEG data analysis. These two new techniques can 
overcome the shortcomings of traditional EEG/MEG data based on average analysis of voltage/magnetic 
flux density waveforms, which could be used to reveal the coding of neural representation at individual level 
and provide a new idea to explore how the brain encodes specific neural representations dynamically in 
different time courses. These two techniques are able to reveal specific neural representation patterns and 
even identify “brain fingerprints” at individual levels. Based on different methodological theories, these two 
techniques provide novel ways for EEG/MEG studies to compare representational differences of cognitive 
processes across time windows, tasks, modalities, and groups. Firstly, we systematically introduced the 
principles and operational processes of classification-based decoding and representation similarity analysis, 
together with a comparison with those traditional analysis methods of EEG/MEG. Then, the EEG/MEG 
studies to date using these two techniques are reviewed. Finally, some possible future research directions 
with regard to these two techniques are proposed. 

Keywords: electroencephalography/magnetoencephalography, neural representation, machine learning/classification- 


based decoding, representation similarity analysis 


